djrobots 0.0.8

我们内部的一个实用工具，便于在开发和生产中轻松地拥有robots.txt

安装

pip install djrobots

用法

将djrobots URL添加到您的URLconf中，您就完成了！

(r'^robots\.txt$', include('djrobots.urls')),

并将djrobots添加到您的INSTALLED_APPS中。

如果您想禁用网站上的所有功能，请在设置中使用

DJROBOTS_DISALLOWALL = True

网站地图

如果您想在robots.txt中指定网站地图URL，请提供设置中的视图名称

DJROBOTS_SITEMAPS = 'sitemap-root'

DJROBOTS_SITEMAPS是一个特殊设置，您可以使用数组在robots.txt中指定更多网站地图

DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap']

或者您可以混合使用视图名称和原始URL

DJROBOTS_SITEMAPS = ['sitemap-root', 'department-sitemap', '/my-sitemap-index.xml']

定制

默认情况下，djrobots为生产提供了robots.txt模板，为开发提供了robots-debug.txt模板，默认配置在Lotrek内部使用。

如果您想指定更多指令，可以扩展默认模板、robots.txt和robots-debug.txt

{% extends "djrobots/base-robots.txt" %}
{% block content %}
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: {% url 'documents' %}

Host: example.com

{% endblock %}

运行测试

$ pip install -r requirements-dev.txt
$ make test