替代robots.txt解析器

导航

验证详情

这些详情已被PyPI验证
维护者
Avatar for b4hand from gravatar.com b4hand Avatar for battaglia.evan from gravatar.com battaglia.evan Avatar for dan.lecocq from gravatar.com dan.lecocq Avatar for lindsey.reno from gravatar.com lindsey.reno

未验证详情

这些详情尚未被PyPI验证
项目链接
元数据
  • 许可协议： MIT许可协议（MIT）
  • 维护者： Lindsey Reno
分类器

项目描述

用符合RFC的实现替换内置的robotsparser，支持现代robots.txt结构，如Sitemaps、Allow和Crawl-delay。主要功能

  • 缓存获取的robots.txt

  • 从Expires头部获取过期时间

  • 批量查询

  • 可配置的用于获取robots.txt的用户代理

  • 基于过期时间的自动重新获取

项目详情

验证详情

这些详情已被PyPI验证
维护者
Avatar for b4hand from gravatar.com b4hand Avatar for battaglia.evan from gravatar.com battaglia.evan Avatar for dan.lecocq from gravatar.com dan.lecocq Avatar for lindsey.reno from gravatar.com lindsey.reno

未验证详情

这些详情尚未被PyPI验证
项目链接
元数据
  • 许可协议： MIT许可协议（MIT）
  • 维护者： Lindsey Reno
分类器

发布历史 发布通知 | RSS源

本版本

0.4.14

0.4.13

0.4.12

0.4.11

0.4.10

0.4.10rc1 预发布

0.4.9

0.4.8

0.4.7

0.4.6

0.4.5

0.4.4

0.4.3

0.4.2

0.4.1

0.3.4

0.3.3

0.3.2

0.3.1

0.3.0

0.2.2

0.2.1

0.2.0

0.1.0

下载文件

下载您平台上的文件。如果您不确定选择哪个，请了解更多关于安装包的信息。

源分布

reppy-0.4.14.tar.gz (93.7 kB 查看哈希值)

上传时间 源

支持