在requests中自动支持robots.txt文件。
项目描述
目前仅是一个概念验证，该模块力求成为requests的一个扩展，为robots.txt提供自动支持。
如何使用
只需使用RobotsAwareSession代替内置的requests.Session。如果资源不允许，将抛出RobotsTxtDisallowed异常。
我如何运行测试？
最简单的方法是从源tarball中提取出来并运行
$ python test/test_robotstxt.py
变更日志
0.1.0
初始发布版本
关闭
requests-robotstxt-0.1.0.tar.gz的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 502292aac0e7c2ef7de34921d4e59ff38a82b4412255f551f8f99d1718213563 |
|
| MD5 | 620945ddd2fa5d81a09d0d6ac81bd5d8 |
|
| BLAKE2b-256 | d2962c5d5d1420370b8f6193f562573623095245cc09e4820385b4e7d43540a5 |