跳转到主要内容

Scrapy的基于Kafka的组件

项目描述

Scrapy的基于Kafka的组件,允许`Spider`从Kafka主题中读取其下一个URL,以及一个`ItemPipeline`将JSON化的`Item`存储回Kafka主题。

请参阅示例目录以了解如何使用此功能。

贡献者

按照字母顺序列出的对scrapy-kafka的贡献者

项目详情


发布历史 发布通知 | RSS源

下载文件

下载适用于您的平台文件。如果您不确定选择哪个,请了解更多关于安装软件包的信息。

源分布

scrapy-kafka-0.1.1.tar.gz (3.2 kB 查看哈希值)

上传时间:

由以下机构支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面