9个项目
scrapy-splash
使用Splash为Scrapy提供JavaScript支持
scrapy-pagestorage
Scrapy扩展,用于在存储服务中存储信息
scrapy-deltafetch
Scrapy中间件,用于忽略之前已爬取的页面
scrapy-jsonschema
使用JSON Schema进行Scrapy模式验证管道和项目构建
scrapy-dotpersistence
Scrapy扩展,用于将.scrapy文件夹同步到S3桶
scrapy-splitvariants
Scrapy蜘蛛中间件,用于在多值键上将项目拆分为多个项目
scrapy-hcf
Scrapy蜘蛛中间件,使用Scrapinghub的Hub Crawl Frontier作为URL的后端
scrapy-querycleaner
Scrapy蜘蛛中间件,用于清理请求URL中的查询参数
scrapy-magicfields
Scrapy中间件,用于向项目添加额外的“魔法”字段