跳转到主要内容

Scrapy扩展,用于通过JSON-RPC控制蜘蛛

项目描述

scrapy-jsonrpc是一个扩展,可以通过JSON-RPC协议控制正在运行的Scrapy网络爬虫。该服务通过JSON-RPC 2.0协议提供对主爬虫对象的访问。

它通过JSONRPC_ENABLED设置启用。网络服务器将在JSONRPC_PORT指定的端口上监听,并将日志记录到JSONRPC_LOGFILE指定的文件中。

访问爬虫对象的端点是

http://localhost:6080/crawler

示例客户端

提供了一个命令行工具,用于说明如何构建客户端。您可以在example-client.py中找到它。它支持一些基本命令,如列出正在运行的蜘蛛等。

设置

这些是控制网络服务行为的设置

JSONRPC_ENABLED

默认值:True

一个布尔值,指定网络服务是否启用(如果其扩展也已启用)。

JSONRPC_LOGFILE

默认值:None

用于记录对网络服务发出的HTTP请求的文件。如果没有设置,日志将发送到标准的Scrapy日志。

JSONRPC_PORT

默认值:[6080, 7030]

用于网络服务的端口号范围。如果设置为None0,则使用动态分配的端口。

JSONRPC_HOST

默认值:'127.0.0.1'

网络服务应监听的接口。

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解更多关于 安装包 的信息。

源代码分布

scrapy-jsonrpc-0.3.0.tar.gz (5.2 kB 查看哈希值)

上传时间 源代码

构建分布

scrapy_jsonrpc-0.3.0-py2-none-any.whl (6.9 kB 查看哈希值)

上传时间 Python 2

由以下支持