1. <cite id="xfewr"></cite>

        
        

      2. 绿色先锋下载站:值得大家信赖的软件下载站!
        Crawlab(分布式爬虫管理系统)V0.5.2 绿色版

        Crawlab V0.5.2 绿色版

        • 大小:1.2 MB语言:简体中文更新日期:2020-11-11
        • 授权:免费版类型:编程工具星级:
        • 平台:WinXP/Win7/Win10/WinAll
        • 50%

        高速下载

        高速下载器,提速50%

        本地下载

        大小:1.2 MB

        Crawlab是一款专业的分布式爬虫管理系统。Crawlab适用于多种计算机语言让你使用。基于Golang的分布式爬虫管理软件,适用于多种计算机语言,例如Python,NodeJS,Go,Java,PHP和各种爬虫框架,分为三种安装方法:Docker,即时部署和Kubernetes !

        软件特色:

        MongoDB
        MongoDB是Crawlab的操作数据库查询,它存储连接点,Web搜寻器,日常任务,计划任务和其他数据信息。此外,GridFS文档存储方法是存储Web爬网程序文档并同步到工作中连接点中间的主要连接点。媒体。
        雷迪斯
        Redis是非常流行的键值数据库查询。 Crawlab是完成连接点之间数据通信的关键。例如,连接点根据HSET将自己的信息内容存储在Redis的nodehach目录中,而主要连接点则根据hach目录区分在线连接点。
        前端开发
        前端开发是基于Vue-Element-Admin的单页应用程序。其中,强调了许多Element-UI控件以应用相对显示。

        Crawlab

         

        功能介绍:

        Crawlab结构:
        Crawlab的框架包括一个主连接点(MasterNode)和几个工作连接点(WorkerNode),以及负责通信和数据信息存储的Redis和MongoDB数据库查询。
        前端开发和应用程序从主连接点请求数据信息。主要连接点根据MongoDB和Redis执行任务分配以及生产计划和部署。连接点接收到工作中的日常任务后,它才开始实施Web爬网程序的日常任务,并将日常任务的结果存储在MongoDB中。与v0.3.0之前的Celery版本号相比,该体系结构有一定程度的缩减。冗余连接点监控控制模块Flower被卸下。连接点监控的关键是Redis。
        主连接点
        主要连接点是整个Crawlab架构的关键,属于Crawlab的多媒体系统。主要连接点负责与前端开发和应用程序进行通信,并根据Redis将Web爬网程序的日常任务发送到工作连接点。另外,根据Redis和MongoDB的GridFS的说法,主要连接点将与(已部署的)Web爬网程序一起使用到工作的连接点。
        工中的连接点
        连接点在工作中的关键作用是执行Web爬网程序的日常任务,并存储爬网数据信息和系统日志,并根据Redis的PubSub与主要连接点进行通信。根据推广工作中连接点的总数,Crawlab可以保证水平扩展,并且可以将不同的Web爬虫日常任务分配给不同的连接点以进行实施。

        Crawlab

        软件截图
        • Crawlab
        • Crawlab
        • 下载地址
        Crawlab(分布式爬虫管理系统)V0.5.2 绿色版
        下载不了?解压密码:www.roundobject.com
        相关下载
        • 批处理文件编辑器 V1.21绿色版
          批处理文件编辑器V1.21绿色版_解决批处理文件怎么写

          批处理文件编辑器V1.21绿色版_解决批处理文件怎么写此版本为第一版本发布将除IFFOR以外所有的DOS语言全部收录在左边的目录树中,...

        • 天际串口工具 V1.0.3绿色版
          天际串口工具(串口调试工具)V1.0.3 绿色版

          天际串口工具(串口调试工具)V1.0.3绿色版天际串口工具,是经过多年在实际工程中的应用,根据需求而开发串口调试工具。【特点】1...

        • SetACL V2.2.2绿色汉化版
          SetACL(注册表权限修改工具)V2.2.2 绿色汉化版

          SetACL是开源项目,用于控制注册表的访问控制权限(ACL).项目主页:http://setacl.sourceforge.net包含命令行版本和ActiveX控件版本...

        • INI文件转换宏 V2017.5.1 汉化版
          INI文件转换宏(ini文件替换附加工具)V2017.5.1 汉化版

          INI文件转换宏(ini文件替换附加工具)V2017.5.1汉化版将ini文件及ini类文件的前后段字串进行单向或双向替换以及附加、替换操作。...

        网友评论
        • 热门推荐
        欢乐斗牛官网 <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <蜘蛛词>| <文本链> <文本链> <文本链> <文本链> <文本链> <文本链>