基于buildout的scrapy蜘蛛开发包
项目描述
此包提供了一些基于buildout的scrapy蜘蛛开发的核心组件。此类scrapy蜘蛛包可以使用位于s01.client包中的JSON-RPC代理通过mongodb基于的s01.worker守护程序进行安装、调度和处理。该包还提供了一些配方,允许使用外部文件作为scrapy设置。
变更
0.16.2 (2012-11-18)
使其与scrapy 0.16.2兼容。更改API,将缺少的设置导出替换为将设置导出到s01.scrapy.util作为设置属性。这是必需的,因为我们引用设置来设置全局mongodb连接以进行日志记录。
0.14.4.1 (2012-07-01)
实现了通过支持引导配方部分来连接自定义日志记录器的支持。
0.14.4 (2012-06-30)
使其与scrapy 0.14.4兼容,调整命令行
0.12.4 (2011-09-10)
错误修复:修复在Windows路径中使用x时的错误转义
0.12.3 (2011-08-29)
实现了仅允许http和https uris的httpConverter转换器
改进电子邮件和uriConverter,实现验证,如果使用无效格式则返回None
0.12.2 (2011-08-27)
实现了新的测试食谱,可以设置包括Scrapy设置在内的zope.testrunner
0.12.1 (2011-08-25)
实现了开发辅助脚本,可以输出我们的TestExporter导出的日志和临时数据
0.12.0 (2011-08-19)
将Scrapy发布版本固定为0.12.0.2546
删除了未使用的依赖项和导入
初始发布
0.0.7 (2011-01-02)
发布alpha版本,用于开发和测试工具链
将logging.Error写入sys.stderr,我们可以在子进程中读取
0.0.6 (2010-12-31)
发布alpha版本,用于开发和测试工具链
将logging.ERROR打印到stdout,这是在子进程中处理错误所必需的
0.0.5 (2010-12-29)
发布alpha版本,用于开发和测试工具链
实现了不同的Scrapy项目项和字段概念。使用字段属性而不是基于字典的项目和字段。实现了ScrapyFieldProperty和ScrapyItemBase类。添加了测试来展示Scrapy项目和字段的操作,包括转换器和序列化器。
实现了可以处理新Scrapy项目项和字段概念的新的提取器
实现了不同的基本ScrapyFieldProperty转换方法
0.0.4 (2010-12-22)
发布alpha版本,用于开发和测试工具链
从爬取食谱中删除蜘蛛名称
0.0.3 (2010-11-29)
发布alpha版本,用于开发和测试工具链
修复设置内容中的十六进制数据部分
使用s01.worker作为默认的日志处理程序名称
0.0.2 (2010-11-29)
发布alpha版本,用于开发和测试工具链
添加了设置食谱
0.0.1 (2010-11-21)
发布alpha版本,用于开发和测试工具链
项目详情
s01.scrapy-0.16.2.zip的散列
算法 | 散列摘要 | |
---|---|---|
SHA256 | 39088af344868858d015f20e36f04ae6821a84ac5157afa24da6b33b3d71f6d8 |
|
MD5 | 91f88ff2faf529a0248ffa324d1ad5a8 |
|
BLAKE2b-256 | bf2a67ced98607a8473fb2cf7b237de31e94cb962fe409d45addeb28ca4192bf |