跳转到主要内容

基于buildout的scrapy蜘蛛开发包

项目描述

此包提供了一些基于buildout的scrapy蜘蛛开发的核心组件。此类scrapy蜘蛛包可以使用位于s01.client包中的JSON-RPC代理通过mongodb基于的s01.worker守护程序进行安装、调度和处理。该包还提供了一些配方,允许使用外部文件作为scrapy设置。

变更

0.16.2 (2012-11-18)

  • 使其与scrapy 0.16.2兼容。更改API,将缺少的设置导出替换为将设置导出到s01.scrapy.util作为设置属性。这是必需的,因为我们引用设置来设置全局mongodb连接以进行日志记录。

0.14.4.1 (2012-07-01)

  • 实现了通过支持引导配方部分来连接自定义日志记录器的支持。

0.14.4 (2012-06-30)

  • 使其与scrapy 0.14.4兼容,调整命令行

0.12.4 (2011-09-10)

  • 错误修复:修复在Windows路径中使用x时的错误转义

0.12.3 (2011-08-29)

  • 实现了仅允许http和https uris的httpConverter转换器

  • 改进电子邮件和uriConverter,实现验证,如果使用无效格式则返回None

0.12.2 (2011-08-27)

  • 实现了新的测试食谱,可以设置包括Scrapy设置在内的zope.testrunner

0.12.1 (2011-08-25)

  • 实现了开发辅助脚本,可以输出我们的TestExporter导出的日志和临时数据

0.12.0 (2011-08-19)

  • 将Scrapy发布版本固定为0.12.0.2546

  • 删除了未使用的依赖项和导入

  • 初始发布

0.0.7 (2011-01-02)

  • 发布alpha版本,用于开发和测试工具链

  • 将logging.Error写入sys.stderr,我们可以在子进程中读取

0.0.6 (2010-12-31)

  • 发布alpha版本,用于开发和测试工具链

  • 将logging.ERROR打印到stdout,这是在子进程中处理错误所必需的

0.0.5 (2010-12-29)

  • 发布alpha版本,用于开发和测试工具链

  • 实现了不同的Scrapy项目项和字段概念。使用字段属性而不是基于字典的项目和字段。实现了ScrapyFieldProperty和ScrapyItemBase类。添加了测试来展示Scrapy项目和字段的操作,包括转换器和序列化器。

  • 实现了可以处理新Scrapy项目项和字段概念的新的提取器

  • 实现了不同的基本ScrapyFieldProperty转换方法

0.0.4 (2010-12-22)

  • 发布alpha版本,用于开发和测试工具链

  • 从爬取食谱中删除蜘蛛名称

0.0.3 (2010-11-29)

  • 发布alpha版本,用于开发和测试工具链

  • 修复设置内容中的十六进制数据部分

  • 使用s01.worker作为默认的日志处理程序名称

0.0.2 (2010-11-29)

  • 发布alpha版本,用于开发和测试工具链

  • 添加了设置食谱

0.0.1 (2010-11-21)

  • 发布alpha版本,用于开发和测试工具链

项目详情


下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分布

s01.scrapy-0.16.2.zip (33.4 kB 查看散列)

上传时间

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面