scrapy-magicfields 1.1.0

支持的魔法变量

$time

项被抓取时的 UTC 时间戳，格式为 '%Y-%m-%d %H:%M:%S'。

$unixtime

项被抓取时的 unixtime（自纪元以来的秒数，即 time.time()）。

$isotime

项被抓取时的 UTC 时间戳，格式为 '%Y-%m-%dT%H:%M:%S'。

$spider

必须跟一个参数，该参数是蜘蛛的一个属性（例如传递给它的参数）。

$env

环境变量的值。它接受作为参数的变量名。

$jobid

作业 id（即 $env:SCRAPY_JOB 的快捷方式）

$jobtime

作业开始时的 UTC 时间戳，格式为 '%Y-%m-%d %H:%M:%S'。

$response

访问一些响应属性。

$response:url

从其中提取项的 URL。

$response:status

响应 http 状态。

$response:headers

响应 http 头。

$setting

访问给定的 Scrapy 设置。它接受一个参数：设置的名称。

$field

允许将一个字段的值复制到另一个字段。它的参数是源字段。如果使用使用魔法字段填充的字段作为源，则效果不可预测。

示例

以下配置将为每个抓取项添加两个字段

• 'timestamp'，它将被填充为字符串 'item scraped at <scraped timestamp>'，

• 和 'spider'，它将包含蜘蛛名称

MAGIC_FIELDS = {
    "timestamp": "item scraped at $time",
    "spider": "$spider:name"
}

以下配置将 URL 复制到字段 sku

MAGIC_FIELDS = {
    "sku": "$field:url"
}

魔法也接受一个正则表达式参数，允许从由魔法生成的值中提取和分配只有部分。您必须使用 r'' 语句指定它。

假设您的项的 URL 看起来像 'http://www.example.com/product.html?item_no=345'，并且您想将项目编号分配给 sku 字段。

以下示例与上一个示例类似，但有一个第二个正则表达式参数，将执行此任务

MAGIC_FIELDS = {
    "sku": "$field:url,r'item_no=(\d+)'"
}