scrapy-splitvariants 1.1.0

用法示例

假设您的蜘蛛输出一个具有不同尺寸选项的项目（例如来自电子商务网站）

item = {"id": 12,
        "name": "Big chair",
        "variants": [{"size": "XL", "price": 200, "currency": "USD"},
                     {"size": "L", "price": 100, "currency": "USD"}]}

当您启用 SplitVariantsMiddleware 时，此单个项目将变成具有不同变体值的不同项目。

{"id": 12, "name": "Big chair", "size": "XL", "price": 200, "currency": "USD"}
{"id": 12, "name": "Big chair", "size": "L", "price": 100, "currency": "USD"}

安装

使用 pip 安装 scrapy-splitvariants

$ pip install scrapy-splitvariants

配置

1. 通过在您的 settings.py 文件中包含 SplitVariantsMiddleware 来添加它到 SPIDER_MIDDLEWARES

   SPIDER_MIDDLEWARES = {
       'scrapy_splitvariants.SplitVariantsMiddleware': 100,
   }

   这里，优先级 100 只是一个示例。根据您已启用的其他中间件设置其值。

2. 通过在您的 setting.py 中将 SPLITVARIANTS_ENABLED 设置为 True 来启用中间件。