在Airflow中编排您的dbt项目
项目描述
使用几行代码将您的 dbt Core 项目作为 Apache Airflow® DAG 和任务组运行。好处包括
使用 Airflow 连接而非 dbt 配置文件运行 dbt 项目
原生支持在虚拟环境中安装和运行 dbt,以避免与 Airflow 的依赖冲突
在模型完成后立即运行测试,以尽早发现问题
利用 Airflow 的数据感知调度,在上游摄取后立即运行模型
将每个 dbt 模型转换为具有重试、警报等功能的任务/任务组
快速入门
请参阅我们文档中的入门指南。更多示例请参阅 /dev/dags 以及 cosmos-demo 仓库。
示例用法
您可以使用 DbtDag 类渲染 Cosmos Airflow DAG。以下是一个使用 jaffle_shop 项目 的示例
这将生成如下所示的 Airflow DAG
社区
加入我们 Airflow 的 Slack 中的 #airflow-dbt
更新日志
我们遵循 语义版本控制 进行发布。请参阅 CHANGELOG.rst 了解最新更改。
贡献指南
欢迎所有贡献,包括错误报告、错误修复、文档改进和增强。
有关如何贡献的详细概述,请参阅 贡献指南。
作为本项目的贡献者和维护者,您应遵守 贡献者行为准则。
许可证
隐私政策
本项目遵循 Astronomer 的隐私政策
项目详情
下载文件
下载适合您平台的文件。如果您不确定该选择哪个,请了解更多关于安装包的信息。
源分布
astronomer_cosmos-1.7.0.tar.gz (94.8 kB 查看哈希值)
构建分发
astronomer_cosmos-1.7.0-py3-none-any.whl (132.9 kB 查看哈希值)
关闭
astronomer_cosmos-1.7.0.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0aff1a36602d73c216ad0468afa157376bac81fadebde0a4e3c1e2385433327f |
|
MD5 | 6b48a4304578e44ba4609a864377a3a0 |
|
BLAKE2b-256 | c7f3217a5256fcd1d3e893b4d784639648c0227a5672f1b57ad95beefa97e899 |
关闭
astronomer_cosmos-1.7.0-py3-none-any.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 878ef8b9111d18c70159d72ba63f646ab9a26568776ea06dae1abce4c92e9f2a |
|
MD5 | 43ef5094a7b5388c3ab5dc39020cccce |
|
BLAKE2b-256 | 48a1e98a55efc17b7c73974b7af0dca4edac022d4b0c8d8c0a13684a952257f8 |