tap-dbt

tap-dbt 是用于 dbt Cloud API v2 的Singer tap。

使用 Singer SDK 构建。

• 安装
• 功能
• 配置
  • 输入
  • JSON示例
  • 环境变量示例
  • Meltano示例
• 用法
  • 直接执行Tap
  • 使用Meltano

安装

pip install tap-dbt

功能

流

完整的流元数据可在dbt Labs仓库中找到： openapi_schema

默认选中

如果没有使用目录，以下内容将默认提取

• 流：账户
• 流：工作
• 流：项目
• 流：运行

可配置

可以在目录中设置 selected 来启用

• 流：连接
• 流：环境
• 流：仓库
• 流：用户

增量运行流

按 -finished_at 对运行端点的查询进行排序，即按降序运行完成日期时间，将得到以下内容

增量同步已经设置为在执行增量同步时在 replication_key = "finished_at" 上工作

• 如果设置了书签，则按 finished_at 反向顺序查询流。
• 如果未设置 finished_at 值，则假设运行仍在进行中，因此记录将被包含，并且排序顺序暗示应该有在流中较晚出现的已填充的 finished_at 记录 - 如果 dbt Job 运行仍在进行中，重复同步操作将产生相同的记录，但这遵守“至少一次”的交付承诺 - https://sdk.meltano.com/en/latest/implementation/at_least_once.html
• 一旦同步操作到达已填充 finished_at 的记录，这些值将与书签进行比较，一旦 finished_at 值小于书签，流将完成同步。

配置

访问 API 文档 了解获取 API 密钥的说明。

您可以使用带有 TAP_DBT_ 前缀的环境外加字段名称的大写字母来传递配置，或使用 JSON 文件

tap-dbt --config=ENV

tap-dbt --config=config.json

输入

通过运行可以获得此 tap 支持的设置和功能的完整列表

tap-dbt --about --format json

JSON示例

{
  "api_key": "da39a3ee5e6b4b0d3255bfef95601890afd80709",
  "account_ids": ["51341"],
  "user_agent": "tap-dbt/0.1.0 Singer Tap for the dbt Cloud API",
  "base_url": "https://my-dbt-cloud-api.com",
  "page_size": 5000
}

环境变量示例

TAP_DBT_API_KEY=da39a3ee5e6b4b0d3255bfef95601890afd80709
TAP_DBT_ACCOUNT_IDS=51341
TAP_DBT_USER_AGENT='tap-dbt/0.1.0 Singer Tap for the dbt Cloud API'
TAP_DBT_BASE_URL=https://my-dbt-cloud-api.com"
TAP_DBT_PAGE_SIZE=5000

Meltano示例

plugins:
  extractors:
    - name: tap-dbt
      logo_url: https://hub.meltano.com/assets/logos/taps/dbt.png
      label: dbt Cloud
      docs: https://hub.meltano.com/taps/dbt
      repo: https://github.com/edgarrmondragon/tap-dbt
      namespace: dbt
      pip_url: tap-dbt
      executable: tap-dbt
      capabilities:
        - catalog
        - discover
      settings:
        - name: base_url
          label: dbt Cloud URL
          placeholder: "https://cloud.getdbt.com/api/v2"
        - name: api_key
          kind: password
          label: API Key
          docs: "https://docs.getdbt.com/dbt-cloud/api#section/Authentication"
        - name: account_ids
          kind: array
          label: Account IDs
        - name: user_agent
          label: User-Agent
          placeholder: "tap-dbt/0.1.0 Singer Tap for the dbt Cloud API"
        - name: page_size
          kind: integer
          label: Page Size

用法

您可以使用 CLI 或使用 Meltano 轻松运行 tap-dbt。

直接执行Tap

tap-dbt --version
tap-dbt --help
tap-dbt --config .secrets/example.json --discover > ./catalog/json

使用Meltano

meltano elt tap-dbt target-snowflake --job_id dbt_snowflake