跳转到主要内容

在Airflow中编排您的dbt项目

项目描述

https://raw.githubusercontent.com/astronomer/astronomer-cosmos/main/docs/_static/cosmos-logo.svg

fury ossrank downloads pre-commit.ci status

使用几行代码将您的 dbt Core 项目作为 Apache Airflow® DAG 和任务组运行。好处包括

  • 使用 Airflow 连接而非 dbt 配置文件运行 dbt 项目

  • 原生支持在虚拟环境中安装和运行 dbt,以避免与 Airflow 的依赖冲突

  • 在模型完成后立即运行测试,以尽早发现问题

  • 利用 Airflow 的数据感知调度,在上游摄取后立即运行模型

  • 将每个 dbt 模型转换为具有重试、警报等功能的任务/任务组

快速入门

请参阅我们文档中的入门指南。更多示例请参阅 /dev/dags 以及 cosmos-demo 仓库

示例用法

您可以使用 DbtDag 类渲染 Cosmos Airflow DAG。以下是一个使用 jaffle_shop 项目 的示例

https://github.com/astronomer/astronomer-cosmos/blob/24aa38e528e299ef51ca6baf32f5a6185887d432/dev/dags/basic_cosmos_dag.py#L1-L42

这将生成如下所示的 Airflow DAG

/docs/_static/jaffle_shop_dag.png

社区

  • 加入我们 Airflow 的 Slack 中的 #airflow-dbt

更新日志

我们遵循 语义版本控制 进行发布。请参阅 CHANGELOG.rst 了解最新更改。

贡献指南

欢迎所有贡献,包括错误报告、错误修复、文档改进和增强。

有关如何贡献的详细概述,请参阅 贡献指南

作为本项目的贡献者和维护者,您应遵守 贡献者行为准则

许可证

Apache License 2.0

隐私政策

本项目遵循 Astronomer 的隐私政策

项目详情


发布历史 发布通知 | RSS 源

下载文件

下载适合您平台的文件。如果您不确定该选择哪个,请了解更多关于安装包的信息。

源分布

astronomer_cosmos-1.7.0.tar.gz (94.8 kB 查看哈希值)

上传于

构建分发

astronomer_cosmos-1.7.0-py3-none-any.whl (132.9 kB 查看哈希值)

上传于 Python 3

由以下支持