基于Scrapy的具有用户界面的网络爬虫
项目描述
Arachnado
Arachnado是一个用于爬取特定网站的工具。它提供了一个基于Tornado的HTTP API和一个基于Scrapy的爬虫的Web UI。
许可为MIT。
安装
Arachnado需要Python 2.7。要安装Arachnado，请使用pip
pip install arachnado
要安装支持MongoDB的Arachnado，请使用以下命令
pip install arachnado[mongo]
运行
要启动Arachnado，请执行arachnado命令
arachnado
然后访问http://0.0.0.0:8888（或配置的任何URL）。
要查看可用的命令行选项，请使用
arachnado –help
Arachnado可以使用配置文件进行配置。将其放置在常见位置之一（‘/etc/arachnado.conf’，‘~/.config/arachnado.conf’或‘~/.arachnado.conf’）或当启动服务器时传递文件名作为参数
arachnado --config ./my-config.conf
有关可用选项，请参阅https://github.com/TeamHG-Memex/arachnado/blob/master/arachnado/settings/defaults.conf。
开发
要构建 Arachnado 静态资产，需要 node.js 和 npm。使用 npm 安装所有 JavaScript 依赖，从代码库根目录运行以下命令：
npm install
然后重新构建静态文件（我们使用 Webpack）
npm run build
或在开发期间每次更改时自动构建静态文件
npm run watch
变更
0.2 (2015-08-07)
初始发布。
下载文件
下载适合您平台的文件。如果您不确定选择哪个，请了解更多关于 安装包 的信息。
源代码分发
arachnado-0.2.tar.gz (140.0 kB 查看哈希)
构建分发
arachnado-0.2-py2-none-any.whl (156.3 kB 查看哈希)
关闭
arachnado-0.2.tar.gz 的哈希
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 9125eba9e911caba1434462606eed212c4e4998720dc04a67669bffc4961a9fd |
|
| MD5 | b50fddf0e9c7b26b905216b9f3ba8b2c |
|
| BLAKE2b-256 | 47644b5f813d98099aff09c763450b56cf1b6e8fcbf8b7178ada7f6bea6e4fda |
关闭
arachnado-0.2-py2-none-any.whl 的哈希
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 62271c8c3b240e60d90d57228faada0dcd1254cc1eab749060a097409d19272a |
|
| MD5 | 23a354bc270bbf9159fce343aff2b3a6 |
|
| BLAKE2b-256 | 5e5c0301f345ef205f1680dd595c2eb700af3b7a61b2626ee679d524a343b4c7 |