Scrapy扩展,用于通过JSON-RPC控制蜘蛛
项目描述
scrapy-jsonrpc是一个扩展,可以通过JSON-RPC协议控制正在运行的Scrapy网络爬虫。该服务通过JSON-RPC 2.0协议提供对主爬虫对象的访问。
它通过JSONRPC_ENABLED设置启用。网络服务器将在JSONRPC_PORT指定的端口上监听,并将日志记录到JSONRPC_LOGFILE指定的文件中。
访问爬虫对象的端点是
http://localhost:6080/crawler
示例客户端
提供了一个命令行工具,用于说明如何构建客户端。您可以在example-client.py中找到它。它支持一些基本命令,如列出正在运行的蜘蛛等。
设置
这些是控制网络服务行为的设置
JSONRPC_ENABLED
默认值:True
一个布尔值,指定网络服务是否启用(如果其扩展也已启用)。
JSONRPC_LOGFILE
默认值:None
用于记录对网络服务发出的HTTP请求的文件。如果没有设置,日志将发送到标准的Scrapy日志。
JSONRPC_PORT
默认值:[6080, 7030]
用于网络服务的端口号范围。如果设置为None或0,则使用动态分配的端口。
JSONRPC_HOST
默认值:'127.0.0.1'
网络服务应监听的接口。
项目详情
关闭
scrapy-jsonrpc-0.3.0.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | d03381e2f3ba6ab6f2b67584df681e9c613847452187b18dffd3d6342e7b9bf3 |
|
MD5 | 0dd4553c6051381310fb0f71059a4ad7 |
|
BLAKE2b-256 | 5187a19ea34b012ef68dcd5a3bbb2849fa345744b0e7c4620a102498e1a52785 |
关闭
scrapy_jsonrpc-0.3.0-py2-none-any.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 7144c3b4878e49470a53dee353ff9d21a8001431ebe24dce13d8604403fd263f |
|
MD5 | 8fa4b2f14904486f2c2590ae4d56a777 |
|
BLAKE2b-256 | 7c64b7450af507272474f8e845d22a49807378e782ce8a641c7972bdbccb75f1 |