跳转到主要内容

基于buildout和JSON-RPC 2.0 API的Scrapy工作器

项目描述

此软件包提供了一个守护程序,该守护程序能够运行基于buildout的Scrapy蜘蛛包。(参见s01.demo)。守护程序处理存储在mongodb中的待处理爬取作业。守护程序还提供了一个WSGI服务器,提供JSON-RPC 2.0 API。s01.client包中的JSON-RPC代理可用于安装包和向mongodb(队列)添加新的爬取作业。

变更

0.5.0 (2012-11-18)

  • 初始实现

由...