scrapy-autoextract 0.7.0

中间件

中间件是可选的，可以通过请求元信息 {'autoextract': {'enabled': True}} 显式启用。所有以下选项都可以在项目设置文件中设置，或者仅针对特定蜘蛛，在 custom_settings 字典中设置。

在蜘蛛内部，使用 AutoExtract 结果就像这样做：

def parse(self, response):
    yield response.meta['autoextract']

DOWNLOADER_MIDDLEWARES = {
    'scrapy_autoextract.AutoExtractMiddleware': 543,
}

提供者

另一种使用 AutoExtract API 的方法是使用由 web-poet 库提出的 Page Objects 模式，并由 scrapy-poet 实现。

Page Objects 返回的项目由 autoextract-poet 库定义。

在蜘蛛内部，使用 AutoExtract 结果就像这样做：

import scrapy
from autoextract_poet.pages import AutoExtractArticlePage

class SampleSpider(scrapy.Spider):
    name = "sample"

    def parse(self, response, article_page: AutoExtractArticlePage):
        # We're making two requests here:
        # - one through Scrapy to build the response argument
        # - the other through the providers to build the article_page argument
        yield article_page.to_item()

注意，在上面的示例中，我们将执行两个请求

• 一个通过 Scrapy 进行（它可能使用智能代理、Splash 或不使用代理，具体取决于您的配置）

• 另一个通过 AutoExtract API 使用 zyte-autoextract

如果您不需要通过 Scrapy 进行额外的请求，您可以在回调函数的响应参数上添加 DummyResponse 注解。这将忽略 Scrapy 请求，并且仅获取 AutoExtract API。

例如

import scrapy
from autoextract_poet.pages import AutoExtractArticlePage
from scrapy_poet import DummyResponse

class SampleSpider(scrapy.Spider):
    name = "sample"

    def parse(self, response: DummyResponse, article_page: AutoExtractArticlePage):
        # We're making a single request here to build the article argument
        yield article_page.to_item()

上面的示例从页面中提取了一篇文章，但您可能希望提取不同类型的条目，例如产品或招聘信息。这就像在回调中使用正确的类型注解一样简单。如果我们需要从页面中提取房地产，回调将看起来像这样

def parse(self,
          response: DummyResponse,
          real_estate_page: AutoExtractRealEstatePage):
    yield real_estate_page.to_item()

如果您需要的是原始浏览器 HTML 以提取一些额外的数据，您甚至可以使用 AutoExtractWebPage。访问 支持的页面类型完整列表 以获得对支持页面的更好了解。

# Install AutoExtract provider
SCRAPY_POET_PROVIDERS = {"scrapy_autoextract.AutoExtractProvider": 500}

# Enable scrapy-poet's provider injection middleware
DOWNLOADER_MIDDLEWARES = {
    'scrapy_poet.InjectionMiddleware': 543,
}

# Configure Twisted's reactor for asyncio support on Scrapy
TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

import scrapy
from autoextract.aio.errors import RequestError
from autoextract_poet.pages import AutoExtractArticlePage
from scrapy_autoextract.errors import QueryError
from scrapy_poet import DummyResponse
from twisted.python.failure import Failure

class SampleSpider(scrapy.Spider):
    name = "sample"
    urls = [...]

    def start_requests(self):
        for url in self.urls:
            yield scrapy.Request(url, callback=self.parse_article,
                                 errback=self.errback_article)

    def parse_article(self, response: DummyResponse,
                      article_page: AutoExtractArticlePage):
        yield article_page.to_item()

    def errback_article(self, failure: Failure):
        if failure.check(RequestError):
            self.logger.error(f"RequestError on {failure.request.url}")

        if failure.check(QueryError):
            self.logger.error(f"QueryError: {failure.value.message}")

中间件设置

• AUTOEXTRACT_USER [必填] 是您的AutoExtract API密钥

• AUTOEXTRACT_URL [可选] AutoExtract服务的URL。默认为autoextract.scrapinghub.com。

• AUTOEXTRACT_TIMEOUT [可选] 设置AutoExtract的响应超时。默认为660秒。也可以通过设置request.meta中的“download_timeout”来定义。

• AUTOEXTRACT_PAGE_TYPE [必填] 定义要提取的文档类型。当前可用的选项有“product”和“article”。也可以在spider.page_type或{'autoextract': {'pageType': '...'}}请求元中定义。这对于AutoExtract分类器知道需要提取哪种类型的页面是必需的。

• extra [可选] 允许向AutoExtract请求发送额外的有效负载数据。必须指定为{'autoextract': {'extra': {}}}请求元，并且必须是一个字典。

• AUTOEXTRACT_SLOT_POLICY [可选] 下载并发选项。默认为SlotPolicy.PER_DOMAIN - 如果设置为SlotPolicy.PER_DOMAIN，则考虑设置SCHEDULER_PRIORITY_QUEUE = 'scrapy.pqueues.DownloaderAwarePriorityQueue'以更好地使用AutoExtract并发性并避免延迟。

提供者设置

• AUTOEXTRACT_USER [可选] 是您的AutoExtract API密钥。如果未设置，则从ZYTE_AUTOEXTRACT_KEY环境变量中获取。

• AUTOEXTRACT_URL [可选] AutoExtract服务的URL。默认为官方AutoExtract端点。

• AUTOEXTRACT_MAX_QUERY_ERROR_RETRIES [可选] 查询级别错误的最大重试次数。默认为0。

• AUTOEXTRACT_CONCURRENT_REQUESTS_PER_DOMAIN [可选] 每个域的最大并发请求数。如果未设置，提供者将查找CONCURRENT_REQUESTS_PER_DOMAIN（默认为8）设置。

• AUTOEXTRACT_CACHE_FILENAME [可选] 将放置在.scrapy文件夹中的.sqlite文件的名称。如果不存在，则创建文件。缓存对开发很有用；当使用提供者时，AutoExtract请求绕过标准Scrapy缓存。