跳转到主要内容

使用匹配器限制爬取和抓取范围。

项目描述

https://travis-ci.org/scrapinghub/scrapy-mosquitera.svg?branch=master https://img.shields.io/pypi/v/scrapy-mosquitera.svg?maxAge=2592000 https://img.shields.io/pypi/pyversions/scrapy-mosquitera.svg?maxAge=2592000 https://img.shields.io/pypi/l/scrapy-mosquitera.svg?maxAge=2592000

我如何从过去五天内从网站抓取项目?

—Scrapy 用户

这个问题引发了 scrapy-mosquitera 的发展,这是一个帮助您使用 匹配器 限制爬取和抓取范围的工具。

匹配器是简单的Python函数,根据某些限制返回元素的合法性。

项目的首要目标是日期匹配,但您可以创建自己的匹配器来满足您自己的爬取和抓取需求。

工作原理

在URL中存在日期的情况下,您只需直接在代码中使用匹配器函数即可。

from scrapy_mosquitera.matchers import date_matches

 date = scrape_date_from_url(url)

 if date_matches(data=date, after='5 days ago'):
    yield Request(url=url, callback=self.parse_item)

为了处理在抓取项目时只有日期可用的情况,scrapy-mosquitera 提供了一个 PaginationMixin 来根据抓取的日期控制爬取。

有关更多详细信息,请参阅文档的其余部分。

安装

快速方式

pip install scrapy-mosquitera

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源代码分发

scrapy-mosquitera-0.1.1.tar.gz (18.4 kB 查看哈希)

上传时间 源代码

构建分发

scrapy_mosquitera-0.1.1-py2.py3-none-any.whl (8.7 kB 查看哈希)

上传时间 Python 2 Python 3

支持者