包apache-airflow-backport-providers-google

版本：2021.3.3

目录

• 回端口包
• 安装
• PIP需求
• 跨提供程序包依赖关系
• 提供程序类摘要
  • 操作员
    • 新操作员
    • 移动操作员
  • 迁移操作员
    • 新迁移操作员
    • 移动迁移操作员
  • 传感器
    • 新传感器
    • 移动传感器
  • 钩子
    • 新钩子
    • 移动钩子
  • 秘密
    • 移动秘密
• 发布
  • 发布 2021.3.3
  • 发布 2021.2.5
  • 发布 2020.11.23
  • 发布 2020.11.13
  • 发布 2020.10.29
  • 发布 2020.10.5
  • 发布 2020.6.24

回端口包

这是一个为 google 提供者提供的回端口程序包。此提供者程序包中所有类都在 airflow.providers.google Python 程序包中。

此回端口程序包仅支持 Python 3.6+。

虽然 Airflow 1.10.* 继续支持 Python 2.7+ - 如果您想使用此回端口程序包，则需要将 Python 升级到 3.6+。

变更日志

发布 2021.3.3

功能

• 在 GCSHook.download 方法中的文档字符串中纠正了参数顺序 (#14497)
• 重构 SQL/BigQuery/Qubole/Druid 检查操作符 (#12677)
• 添加 GoogleDriveToLocalOperator (#14191)
• 将 'exists_ok' 标志添加到 BigQueryCreateEmptyTable(Dataset)Operator (#14026)
• 为 BigQuery 添加物化视图支持 (#14201)
• 添加 BigQueryUpdateTableOperator (#14149)
• 向 CloudDataTransferServiceOperator 添加参数 (#14118)
• 添加 gdrive_to_gcs 操作符、drive 传感器以及 drive 钩子的附加功能 (#13982)
• 改进 GCSToSFTPOperator 路径处理 (#11284)

错误修复

• 修复数据科学操作符和钩子的问题 (#14086)
• #9803 修复没有通配符的复制操作中的错误 (#13919)

发布 2021.2.5

破坏性更改

更新 google-cloud-* 库

此提供者程序包的此版本包含第三方库更新，如果您使用过这些库中的对象，则可能需要更新 DAG 文件或自定义钩子和操作符。更新这些库是必要的，以便能够使用库的新版本提供的功能，并获得仅适用于库新版本的错误修复。

详细信息请参阅每个库的 UPDATING.md 文件，但有一些细节需要注意。

字段名称使用 snake_case 惯例

如果您的 DAG 使用 XCom 传递的上述库中的对象，则必须更新读取的字段命名约定。之前，字段使用 CamelSnake 惯例，现在使用 snake_case 惯例。

之前

set_acl_permission = GCSBucketCreateAclEntryOperator(
    task_id="gcs-set-acl-permission",
    bucket=BUCKET_NAME,
    entity="user-{{ task_instance.xcom_pull('get-instance')['persistenceIamIdentity']"
    ".split(':', 2)[1] }}",
    role="OWNER",
)

之后

set_acl_permission = GCSBucketCreateAclEntryOperator(
  task_id="gcs-set-acl-permission",
  bucket=BUCKET_NAME,
  entity="user-{{ task_instance.xcom_pull('get-instance')['persistence_iam_identity']"
         ".split(':', 2)[1] }}",
  role="OWNER",
)

功能

• 添加 Apache Beam 操作符 (#12814)
• 添加 Google Cloud Workflows 操作符 (#13366)
• 当使用 'GCSHook' 时，将 'google_cloud_storage_conn_id' 替换为 'gcp_conn_id' (#13851)
• 添加 Dataflow 的如何使用指南 (#13461)
• 将 MLEngineStartTrainingJobOperator 泛化为自定义镜像 (#13318)
• 向 BaseSQLToGCSOperator 添加 Parquet 数据类型 (#13359)
• 添加 DataprocCreateWorkflowTemplateOperator (#13338)
• 添加 OracleToGCS 转移 (#13246)
• 向 gcs 钩子方法添加超时选项 (#13156)
• 向 dataproc 工作流模板操作符添加区域支持 (#12907)
• 在 BigQuery 钩子更新_table 方法中向客户端添加 project_id (#13018)

错误修复

• 修复 StackdriverTaskHandler 中的四个错误 (#13784)
• 解码远程 Google 日志 (#13115)
• 修复和改进 GCP BigTable 钩子和系统测试 (#13896)
• 更新 Google DV360 钩子以修复 SDF 问题 (#13703)
• 修复 BigQueryHook 中 insert_all 方法的错误以支持没有模式表 (#13138)
• 修复Google BigQueryHook方法get_schema() (#13136)
• 修复数据目录操作符 (#13096)

安装

您可以通过pip install apache-airflow-backport-providers-google在现有的airflow 1.10.*安装上安装此软件包

PIP需求

跨提供程序包依赖关系

这些可能是使用此软件包所有功能所需的依赖项。您需要安装指定的回滚提供程序软件包才能使用它们。

您可以从PyPI安装此类跨提供程序依赖项。例如

pip install apache-airflow-backport-providers-google[amazon]

提供程序类摘要

在Airflow 2.0中，所有操作符、传输、钩子、传感器、以及google提供程序的机密都位于airflow.providers.google软件包中。您可以在提供程序包命名约定中了解更多关于所使用命名约定。

操作员

新操作员

移动操作员

迁移操作员

新迁移操作员

移动迁移操作员

传感器

新传感器

移动传感器

钩子

新钩子

移动钩子

秘密

移动秘密

发布

发布 2021.3.3

发布 2021.2.5

发布 2020.11.23

发布 2020.11.13

发布 2020.10.29

发布 2020.10.5

发布 2020.6.24