proxy-middleware 0.2.0

安装

pip install proxy-middleware

ProxyFromSettingsMiddleware

从设置文件设置代理的中间件。

用法：将其添加到scrapy设置中的DOWNLOADER_MIDDLEWARES

DOWNLOADER_MIDDLEWARES = {
   'proxy_middleware.ProxyFromSettingsMiddleware': 10,
   ...

通过HTTP_PROXY和HTTPS_PROXY设置变量传递代理配置。也尊重HTTPPROXY_AUTH_ENCODING

scrapy crawl my-spider -s HTTP_PROXY=http://localhost:8118

ProxyOnlyTorMiddleware

仅代理请求到TOR站点（域名以“ .onion”结尾）的中间件。

用法：将其添加到scrapy设置中的DOWNLOADER_MIDDLEWARES

DOWNLOADER_MIDDLEWARES = {
   'proxy_middleware.ProxyOnlyTorMiddleware': 10,
   ...

设置：使用HTTP_PROXY作为http代理，使用HTTPS_PROXY作为https代理。

许可证

许可证是MIT。

0.2.0 (2017-05-29)

• ProxyOnlyTorMiddleware已添加。

0.1.1 (2017-04-07)

• 初始发布