纯Python实现的robots.txt解析器替代品
项目描述
用支持现代robots.txt结构的RFC兼容实现替换内置的robotsparser，如Sitemaps、Allow和Crawl-delay。主要功能
缓存获取的robots.txt
从Expires头中获取过期时间
批量查询
可配置用于获取robots.txt的用户代理
基于过期时间自动重新获取
这是一个修复过的分支，基于最后的纯Python版本，支持Python 2和3。
下载文件
下载您平台的文件。如果您不确定选择哪个，请了解更多关于 安装软件包 的信息。
源代码分发
reppy2-0.3.6.tar.gz (72.7 kB 查看哈希值)
构建分发
reppy2-0.3.6-py3-none-any.whl (12.2 kB 查看哈希值)