Google Shopping Scraper

作为电子商务Scraper API的一部分，Google Shopping Scraper以原始HTML或结构化JSON格式提取及时电子商务数据。该抓取器提供免维护的数据收集基础设施，自动处理底层过程的绝大部分，从发送HTTP请求到数据解析。

底层措施，如代理，可以显著减少CAPTCHA和IP封禁。抓取器支持来自全球几乎所有地区（195个国家）的本地化结果，具有国家层面和邮政编码定位。

此外，抓取器可以通过调度器自动执行重复抓取和解析任务，加载使用JavaScript进行内容渲染的动态网站，并通过API或直接到Google Cloud Storage或Amazon S3存储桶检索结果。

工作原理

我们可以在Google Shopping上抓取和解析各种页面类型。您可以通过专门构建的数据源（例如搜索、产品、产品定价）提供完整的URL或几个输入参数，我们可以在端形成URL。

概述

以下是我们支持的所有可用数据源值的快速概述。

URL

google源设计用于从各种谷歌购物URL检索内容。您不必发送多个参数并让我们构建和抓取谷歌购物URL，您可以直接提供所需谷歌购物页面的URL。我们不会删除任何参数或以任何其他方式修改您的URL。

此数据源还支持解析数据（JSON格式的结构化数据），只要提交的URL链接到的页面是我们可以解析的页面。

查询参数

- 必要参数

Python代码示例

在此示例中，我们发出请求以检索纽约，美国中关于关键词adidas的谷歌购物搜索结果。

import requests
from pprint import pprint

# Structure payload.
payload = {
    'source': 'google',
    'url': 'https://www.google.com/search?tbm=shop&q=adidas&hl=en',
    'geo_location': 'New York,New York,United States'
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Instead of response with job status and results url, this will return the
# JSON response with results.
pprint(response.json())

其他语言的代码示例可以在这里找到。

购物搜索

google_shopping_search源设计用于检索谷歌购物搜索结果。

查询参数

- 必要参数

Python代码示例

在此示例中，我们发出请求以检索搜索词adidas的谷歌购物搜索的前4页，按降序价格和最低价格$20排序。

import requests
from pprint import pprint


# Structure payload.
payload = {
    'source': 'google_shopping_search',
    'domain': 'com',
    'query': 'adidas',
    'pages': 4,
    'context': [
        {'key': 'sort_by', 'value': 'pd'},
        {'key': 'min_price', 'value': 20},
    ],
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

其他语言的代码示例可以在这里找到。

购物产品

google_shopping_product源设计用于检索指定产品的谷歌购物产品页面。

查询参数

- 必要参数

Python代码示例

以下代码示例中，我们向Google Shopping的com域名请求获取产品ID为5007040952399054528的产品页面。

import requests
from pprint import pprint


# Structure payload.
payload = {
    'source': 'google_shopping_product',
    'domain': 'com',
    'query': '5007040952399054528',
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

其他语言的代码示例可以在这里找到。

产品定价

google_shopping_pricing源用于检索包含您选择的产品ID的报价列表的页面。

查询参数

Python代码示例

以下代码示例中，我们向Google Shopping的google.com请求获取产品ID为5007040952399054528的产品定价页面。

import requests
from pprint import pprint


# Structure payload.
payload = {
    'source': 'google_shopping_pricing',
    'domain': 'com',
    'query': '5007040952399054528',
}

# Get response.
response = requests.request(
    'POST',
    'https://realtime.oxylabs.io/v1/queries',
    auth=('user', 'pass1'),
    json=payload,
)

# Print prettified response to stdout.
pprint(response.json())

其他语言的代码示例可以在这里找到。

如果您对Google Shopping Scraper或相关功能有任何问题或疑虑，请联系(support@oxylabs.io)或通过我们网站上的在线聊天。