Scrapy设置日志

一个允许用户在运行时显示其scrapy蜘蛛设置全部或部分设置的扩展。它将以与JSON兼容的格式添加一些或所有设置的日志行。

安装

pip安装scrapy-settings-log

快速入门

将以下内容添加到您的设置中

EXTENSIONS = {
    'scrapy_settings_log.SpiderSettingsLogging': 999,
}

SETTINGS_LOGGING_ENABLED = True

当您运行您的蜘蛛时，当蜘蛛关闭时您将看到以下日志

[scrapy_settings_log] INFO: {"SETTINGS_LOGGING_ENABLED": true, ...}

附加选项

• SETTINGS_LOGGING_REGEX - 添加正则表达式以仅显示某些设置 - 例如 SETTINGS_LOGGING_REGEX = "SPIDERMON" 将显示名称中包含SPIDERMON的设置。
• SETTINGS_LOGGING_INDENT - 添加缩进以使日志更易于阅读。
• MASKED_SENSITIVE_SETTINGS_ENABLED - 默认为 True - 如果启用了设置日志记录，它将屏蔽可能敏感的设置值（密码、apikey）。例如 AWS_SECRET_ACCESS_KEY 的值将显示为 **********。

高级

如果您想以其他方式报告设置，请 subclass 并覆盖 output_settings 方法。

from scrapy_settings_log import SpiderSettingsLogging

class CustomSettingsLogger(SpiderSettingsLogging):

    def  output_settings(self, settings: dict, spider: scrapy.Spider):
        # custom code here