跳转到主要内容

为Apache Airflow回滚提供商包apache-airflow-backport-providers-microsoft-azure

项目描述

包apache-airflow-backport-providers-microsoft-azure

版本:2021.3.13

目录

回滚包

这是一个为 microsoft.azure 提供者提供的回端口包。此提供者包中所有类都在 airflow.providers.microsoft.azure Python 包中。

此回端口包仅支持 Python 3.6+。

虽然 Airflow 1.10.* 仍然支持 Python 2.7+ - 如果您想使用此回端口包,则需要将 Python 升级到 3.6+。

变更日志

版本发布 2021.3.13

特性

  • 添加 Azure Data Factory 钩子 (#11015)
  • 修复 AzureDataFactoryHook 无法实例化其连接 (#14565)

错误修复

  • 错误修复:修复远程登录 Azure 存储blob显示为一行 (#14313)

安装

您可以通过 pip install apache-airflow-backport-providers-microsoft-azure 在现有的 airflow 1.10.* 安装上安装此包

PIP需求

PIP 包 所需版本
azure-batch >=8.0.0
azure-cosmos >=3.0.1,<4
azure-datalake-store >=0.0.45
azure-identity >=1.3.1
azure-keyvault >=4.1.0
azure-kusto-data >=0.0.43,<0.1
azure-mgmt-containerinstance >=1.5.0,<2.0
azure-mgmt-datafactory >=1.0.0,<2.0
azure-mgmt-datalake-store >=0.5.0
azure-mgmt-resource >=2.2.0
azure-storage-blob >=12.7.0
azure-storage-common >=2.1.0
azure-storage-file >=2.1.0

跨提供程序包依赖项

这些是在使用包的所有功能可能需要安装的依赖项。您需要安装指定的回端口提供者包才能使用它们。

您可以在从 PyPI 安装时安装此类跨提供者依赖项。例如

pip install apache-airflow-backport-providers-microsoft-azure[google]
依赖包 额外
apache-airflow-backport-providers-google google
apache-airflow-backport-providers-oracle oracle

提供者类摘要

在 Airflow 2.0 中,所有操作符、传输、钩子、传感器、密钥为 microsoft.azure 提供者都在 airflow.providers.microsoft.azure 包中。您可以在 提供者包命名约定 中了解更多关于使用命名约定

操作符

新操作符

新的 Airflow 2.0 操作符: airflow.providers.microsoft.azure
operators.adls_delete.AzureDataLakeStorageDeleteOperator
operators.adx.AzureDataExplorerQueryOperator
operators.azure_batch.AzureBatchOperator

已移动的操作符

Airflow 2.0 操作符: airflow.providers.microsoft.azure Airflow 1.10.* 之前的位置(通常是 airflow.contrib
operators.adls_list.AzureDataLakeStorageListOperator contrib.operators.adls_list_operator.AzureDataLakeStorageListOperator
operators.azure_container_instances.AzureContainerInstancesOperator contrib.operators.azure_container_instances_operator.AzureContainerInstancesOperator
operators.azure_cosmos.AzureCosmosInsertDocumentOperator contrib.operators.azure_cosmos_operator.AzureCosmosInsertDocumentOperator
operators.wasb_delete_blob.WasbDeleteBlobOperator contrib.operators.wasb_delete_blob_operator.WasbDeleteBlobOperator

传输操作符

新的传输操作符

新的 Airflow 2.0 传输: airflow.providers.microsoft.azure
transfers.azure_blob_to_gcs.AzureBlobStorageToGCSOperator
transfers.local_to_adls.LocalToAzureDataLakeStorageOperator

已移动的传输操作符

Airflow 2.0 传输: airflow.providers.microsoft.azure Airflow 1.10.* 之前的位置(通常是 airflow.contrib
transfers.file_to_wasb.FileToWasbOperator contrib.operators.file_to_wasb.FileToWasbOperator
transfers.oracle_to_azure_data_lake.OracleToAzureDataLakeOperator contrib.operators.oracle_to_azure_data_lake_transfer.OracleToAzureDataLakeOperator

传感器

新的传感器

新的 Airflow 2.0 传感器: airflow.providers.microsoft.azure
sensors.azure_cosmos.AzureCosmosDocumentSensor

已移动的传感器

Airflow 2.0 传感器: airflow.providers.microsoft.azure Airflow 1.10.* 之前的位置(通常是 airflow.contrib
sensors.wasb.WasbBlobSensor contrib.sensors.wasb_sensor.WasbBlobSensor
sensors.wasb.WasbPrefixSensor contrib.sensors.wasb_sensor.WasbPrefixSensor

钩子

新的钩子

新的 Airflow 2.0 钩子: airflow.providers.microsoft.azure
hooks.adx.AzureDataExplorerHook
hooks.azure_batch.AzureBatchHook
hooks.azure_data_factory.AzureDataFactoryHook
hooks.azure_data_lake.AzureDataLakeHook
hooks.base_azure.AzureBaseHook

已移动的钩子

Airflow 2.0 钩子: airflow.providers.microsoft.azure Airflow 1.10.* 之前的位置(通常是 airflow.contrib
hooks.azure_container_instance.AzureContainerInstanceHook contrib.hooks.azure_container_instance_hook.AzureContainerInstanceHook
hooks.azure_container_registry.AzureContainerRegistryHook contrib.hooks.azure_container_registry_hook.AzureContainerRegistryHook
hooks.azure_container_volume.AzureContainerVolumeHook contrib.hooks.azure_container_volume_hook.AzureContainerVolumeHook
hooks.azure_cosmos.AzureCosmosDBHook contrib.hooks.azure_cosmos_hook.AzureCosmosDBHook
hooks.azure_fileshare.AzureFileShareHook contrib.hooks.azure_fileshare_hook.AzureFileShareHook
hooks.wasb.WasbHook contrib.hooks.wasb_hook.WasbHook

密钥

新的密钥

新 Airflow 2.0 密钥:airflow.providers.microsoft.azure
secrets.azure_key_vault.AzureKeyVaultBackend

版本发布

版本发布 2021.3.13

提交 已提交 主题
e7bb17aeb 2021-03-06 尽可能在 Python 3.8 上使用内置的 &#39;cached_property&#39; (#14606)
630aeff72 2021-03-02 修复 AzureDataFactoryHook 无法实例化其连接 (#14565)
589d6dec9 2021-02-27 准备发布下一波提供程序:(#14487)
11d03d2f6 2021-02-26 添加 Azure Data Factory 钩子 (#11015)
5bfa0f123 2021-02-25 错误修复:修复远程登录 Azure 存储blob显示为一行 (#14313)
ca35bd7f7 2021-02-21 默认情况下,PIP 将在 .local 文件夹中安装所有包 (#14125)
10343ec29 2021-02-05 发布提供程序 RC 后对文档和工具进行修正 (#14082)

版本发布 2021.2.5

提交 已提交 主题
88bdcfa0d 2021-02-04 准备发布一波新提供程序。(#14013)
ac2f72c98 2021-02-01 实现提供程序版本控制工具 (#13767)
94b153123 2021-01-23 升级 azure blob 到 v12 (#12188)
a9ac2b040 2021-01-23 使用 flynt 切换到 f-strings (#13732)
3fd5ef355 2021-01-21 添加缺失的集成徽标 (#13717)
b2cb6ee5b 2021-01-07 修复 Azure Data Explorer Operator (#13520)
295d66f91 2020-12-30 修复 PIP 警告中的语法错误 (#13380)
a1e919507 2020-12-26 为 azure local 到 adls Operator 添加系统测试 (#13190)
5185d81ff 2020-12-24 添加 AzureDatalakeStorageDeleteOperator (#13206)
6cf76d7ac 2020-12-18 修复 pip upgrade 命令中的拼写错误 :( (#13148)
5090fb0c8 2020-12-15 添加生成 integrations.json 的脚本 (#13073)
32971a1a2 2020-12-09 将提供程序版本更新到 1.0.0 (#12955)
b40dffa08 2020-12-08 将剩余模块重命名为与 AIP-21 匹配 (#12917)
9b39f2478 2020-12-08 添加对每个提供程序动态连接表单字段的支持 (#12558)
bd90136aa 2020-11-30 将操作员指南移动到提供程序文档包中 (#12681)
2037303ee 2020-11-29 添加对来自提供程序连接/钩子发现的支持 (#12466)
543d88b3a 2020-11-28 添加 azure wasb 和 fileshare 的示例 dag 和系统测试 (#12673)
6b3c6add9 2020-11-27 更新 setup.py 以获取非冲突的依赖项集合 (#12636)
c34ef853c 2020-11-20 按提供程序分离文档构建 (#12444)
008035450 2020-11-18 更新 1.0.0b2 批量发布中的提供程序 README (#12449)
7ca0b6f12 2020-11-18 启用 Markdownlint 规则 MD003/heading-style/header-style (#12427) (#12438)

版本发布 2020.11.23

提交 已提交 主题
4873d9759 2020-11-18 启用 Markdownlint 规则 MD003/heading-style/header-style (#12427)
ae7cb4a1e 2020-11-17 更新回端口提供程序更改中的错误提交哈希 (#12390)
6889a333c 2020-11-15 改进操作员和钩子参考文档 (#12366)
7825e8f59 2020-11-13 改进文档安装 (#12304)
dd2095f4a 2020-11-10 简化字符串表达式 & 使用 f-string (#12216)
85a18e13d 2020-11-09 针对提供程序包的交叉依赖项指向 pypi 项目页面 (#12212)
59eb5de78 2020-11-09 为即将发布的 1.0.0beta1 版本更新提供程序 README (#12206)
b2a28d159 2020-11-09 将提供程序包脚本移动到开发中 (#12082)
3ff7e0743 2020-11-08 azure key vault 可选查找 (#12174)
41bf172c1 2020-11-04 简化字符串表达式 (#12093)
4e8f9cc8d 2020-11-03 启用 Black - Python 自动格式化器 (#9550)
8c42cf1b0 2020-11-03 使用 PyUpgrade 使用 Python 3.6 特性 (#11447)
5a439e84e 2020-10-26 准备发布提供程序 0.0.2a1 版本 (#11855)

版本发布 2020.10.29

提交 已提交 主题
b680bbc0b 2020-10-24 为 2020.10.29 生成回端口提供程序 readmes/setup (#6ce855af1)
6ce855af1 2020-10-24 修复拼写错误 (#11821)
349b0811c 2020-10-20 添加 D200 pydocstyle 检查 (#11688)
f8ff217e2 2020-10-18 修复错误的类型,将配置参数从额外的连接配置移动到操作员参数中 (#11635)
16e712971 2020-10-13 添加对 Airflow 2.0 提供程序包的支持 (#11487)
686e0ee7d 2020-10-11 修复错误的类型,删除硬编码的参数值并改进 AzureContainerInstancesOperator 中的代码 (#11408)
d2754ef76 2020-10-09 对 Microsoft 进行严格类型检查 (#11359)
832a7850f 2020-10-08 将 Azure Blob Storage 添加到 GCS 转移操作员 (#11321)
5d007fd2f 2020-10-08 对 Azure 钩子进行严格类型检查 (#11342)
b0fcf6755 2020-10-07 添加 AzureFileShareToGCSOperator (#10991)
c51016b0b 2020-10-05 添加 LocalToAzureDataLakeStorageOperator (#10814)
fd682fd70 2020-10-05 修复作业删除问题 (#11272)
421061878 2020-10-03 确保在 AzureBatchOperator 中设置 target_dedicated_nodes 或 enable_auto_scale (#11251)
0a0e1af80 2020-10-03 修复 Providers README TOC 中的损坏 Markdown 链接 (#11249)

版本发布 2020.10.5

提交 已提交 主题
ca4238eb4 2020-10-02 将回端口包中的月份更正为十月 (#11242)
5220e4c38 2020-10-02 准备回端口发布 2020.09.07 (#11238)
5093245d6 2020-09-30 对 Oracle 和 Yandex 提供程序进行严格的类型覆盖 (#11198)
f3e87c503 2020-09-22 添加 D202 pydocstyle 检查 (#11032)
f77a11d5b 2020-09-13 为 Microsoft Azure Key Vault 添加 Secrets 后端 (#10898)
9549274d1 2020-09-09 将 black 升级到 20.8b1 (#10818)
fdd9b6f65 2020-08-25 在 Providers 包中启用 Black (#10543)
3696c34c2 2020-08-24 修复 "release" 一词中的错别字 (#10528)
ee7ca128a 2020-08-22 修复 Providers README 中的损坏 Markdown 引用 (#10483)
2f552233f 2020-08-21 添加 AzureBaseHook (#9747)
cdec30125 2020-08-07 为所有操作符和传感器添加正确的签名 (#10205)
24c8e4c2d 2020-08-06 更改所有构造函数以删除 args 参数 (#10163)
aeea71274 2020-08-02 从提供程序操作符构造函数中移除 args 参数 (#10097)
7d24b088c 2020-07-25 停止在 example_dags (2) 中的 default_args 中使用 start_date (#9985)
0bf330ba8 2020-07-24 为 WasbHook 添加 get_blobs_list 方法 (#9950)
33f0cd265 2020-07-22 apply_default 保持 mypy 的函数签名 (#9784)
d3c76da95 2020-07-12 改进向 Microsoft 提供程序的类型提示 (#9774)
23f80f34a 2020-07-08 将 gcs 和 wasb 任务处理程序移动到相应的提供程序包中 (#9714)
d0e7db402 2020-06-19 修复最新发布的版本号 (#9408)

版本发布 2020.6.24

提交 已提交 主题
12af6a080 2020-06-19 为 2020.6.23rc1 发布准备最终清理 (#9404)
c7e5bce57 2020-06-19 为 2020.6.23rc1 准备回端口发布候选 (#9370)
f6bd817a3 2020-06-16 引入 'transfers' 包 (#9320)
0b0e4f7a4 2020-05-26 为回端口 RC3 发布做准备 (#9026)
00642a46d 2020-05-26 修复 20 个错误命名的操作符的名称 (#8994)
375d1ca22 2020-05-19 回端口包 2020.05.20 的发布候选 2 (#8898)
12c5e5d8a 2020-05-17 为回端口包准备发布候选 (#8891)
f3521fb0e 2020-05-16 为回端口包发布重新生成 readme 文件 (#8886)
92585ca4c 2020-05-15 为回端口操作符添加自动发布说明生成 (#8807)
87969a350 2020-04-09 [AIRFLOW-6515] 将日志级别从 Info/Warn 更改为 Error (#8170)
d99833c9b 2020-04-03 [AIRFLOW-4529] 添加对 Azure Batch Service 的支持 (#8024)
4bde99f13 2020-03-23 使 airflow/providers 与 pylint 兼容 (#7802)
a83eb335e 2020-03-23 在 Microsoft 提供程序中添加对 Super 调用的调用 (#7821)
f0e242180 2020-02-24 [AIRFLOW-6896] AzureCosmosDBHook: 将数据库调用从 init 中移出 (#7520)
4bec1cc48 2020-02-24 [AIRFLOW-6895] AzureFileShareHook: 将数据库调用从 init 中移出 (#7519)
3320e432a 2020-02-24 [AIRFLOW-6817] 懒加载 airflow.DAG 以保持用户界面 API 不变 (#7517)
086e30724 2020-02-23 [AIRFLOW-6890] AzureDataLakeHook: 将数据库调用从 init 中移出 (#7513)
4d03e33c1 2020-02-22 [AIRFLOW-6817] 从 airflow/__init__.py 中删除导入,用显式导入替换隐式导入,并在 UPDATING.MD 中添加条目 - 挤压/合并 (#7456)
175a16046 2020-02-19 [AIRFLOW-6828] 停止使用 zope 库 (#7448)
1e0024301 2020-02-10 [AIRFLOW-5176] 添加 Azure Data Explorer (Kusto) 操作符 (#5785)
97a429f9d 2020-02-02 [AIRFLOW-6714] 删除关于 UTF-8 的魔法注释 (#7338)
83c037873 2020-01-30 [AIRFLOW-6674] 根据 AIP-21 将 example_dags 移动 (#7287)
057f3ae3a 2020-01-29 [AIRFLOW-6670][依赖于 AIRFLOW-6669] 将 contrib 操作符移动到 providers 包中 (#7286)
290330ba6 2020-01-15 [AIRFLOW-6552] 将 Azure 类移动到 providers.microsoft 包 (#7158)

项目详情


下载文件

下载适合您平台的文件。如果您不确定选择哪一个,请了解更多关于 安装包 的信息。

源分发

构建分发

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面