跳转到主要内容

Apache Airflow的回端口提供程序包apache-airflow-backport-providers-apache-hive

项目描述

包apache-airflow-backport-providers-apache-hive

发布: 2021.3.3

目录

回端口包

这是一个为 apache.hive 提供程序的回滚提供程序包。此提供程序包的所有类都在 airflow.providers.apache.hive Python 包中。

此回滚包仅支持 Python 3.6+。

虽然 Airflow 1.10.* 继续支持 Python 2.7+ - 如果您想使用此回滚包,则需要将 Python 升级到 3.6+。

发布 2021.3.3

错误修复

  • 发布提供程序 RC 后对文档和工具的修正 (#14082)

发布 2021.2.5

错误修复

  • 如果处于 LDAP 或 CUSTOM 模式,则删除 HiveServer2Hook 中的密码 (#11767)

安装

您可以通过 pip install apache-airflow-backport-providers-apache-hive 在现有的 airflow 1.10.* 安装上安装此包

PIP需求

PIP 包 所需版本
hmsclient >=0.1.0
pyhive[hive] >=0.6.0
thrift >=0.9.2

跨提供程序包依赖关系

这些是可能需要使用包中所有功能的依赖项。您需要安装指定的回滚提供程序包才能使用它们。

您可以从 PyPI 安装此类跨提供程序依赖项。例如

pip install apache-airflow-backport-providers-apache-hive[amazon]
依赖包 额外
apache-airflow-backport-providers-amazon amazon
apache-airflow-backport-providers-microsoft-mssql microsoft.mssql
apache-airflow-backport-providers-mysql mysql
apache-airflow-backport-providers-presto presto
apache-airflow-backport-providers-samba samba
apache-airflow-backport-providers-vertica vertica

提供程序类摘要

在 Airflow 2.0 中,所有 apache.hive 提供程序的运算符、传输、钩子、传感器、机密都在 airflow.providers.apache.hive 包中。您可以阅读有关 提供程序包命名约定 的更多信息

操作符

移动的操作符

Airflow 2.0 运算符:airflow.providers.apache.hive Airflow 1.10.* 以前的存储位置(通常是 airflow.contrib
operators.hive.HiveOperator operators.hive_operator.HiveOperator
operators.hive_stats.HiveStatsCollectionOperator operators.hive_stats_operator.HiveStatsCollectionOperator

传输操作符

已移动传输操作符

Airflow 2.0 传输:airflow.providers.apache.hive Airflow 1.10.* 以前的存储位置(通常是 airflow.contrib
transfers.hive_to_mysql.HiveToMySqlOperator operators.hive_to_mysql.HiveToMySqlTransfer
transfers.hive_to_samba.HiveToSambaOperator operators.hive_to_samba_operator.HiveToSambaOperator
transfers.mssql_to_hive.MsSqlToHiveOperator operators.mssql_to_hive.MsSqlToHiveTransfer
transfers.mysql_to_hive.MySqlToHiveOperator operators.mysql_to_hive.MySqlToHiveTransfer
transfers.s3_to_hive.S3ToHiveOperator operators.s3_to_hive_operator.S3ToHiveTransfer
transfers.vertica_to_hive.VerticaToHiveOperator contrib.operators.vertica_to_hive.VerticaToHiveTransfer

传感器

已移动传感器

Airflow 2.0 传感器:airflow.providers.apache.hive Airflow 1.10.* 以前的存储位置(通常是 airflow.contrib
sensors.hive_partition.HivePartitionSensor sensors.hive_partition_sensor.HivePartitionSensor
sensors.metastore_partition.MetastorePartitionSensor sensors.metastore_partition_sensor.MetastorePartitionSensor
sensors.named_hive_partition.NamedHivePartitionSensor sensors.named_hive_partition_sensor.NamedHivePartitionSensor

钩子

已移动钩子

Airflow 2.0 钩子:airflow.providers.apache.hive Airflow 1.10.* 以前的存储位置(通常是 airflow.contrib
hooks.hive.HiveCliHook hooks.hive_hooks.HiveCliHook
hooks.hive.HiveMetastoreHook hooks.hive_hooks.HiveMetastoreHook
hooks.hive.HiveServer2Hook hooks.hive_hooks.HiveServer2Hook

发布

发布 2021.3.3

提交 已提交 主题
10343ec29 2021-02-05 发布提供程序 RC 后对文档和工具的修正 (#14082)

发布 2021.2.5

提交 已提交 主题
88bdcfa0d 2021-02-04 准备发布一波新的提供程序。 (#14013)
ac2f72c98 2021-02-01 实现提供程序版本控制工具 (#13767)
a9ac2b040 2021-01-23 使用 flynt 切换到 f-strings (#13732)
5f81fc73c 2021-01-03 修复:如果处于 LDAP 或 CUSTOM 模式,则删除 HiveServer2Hook 中的密码 (#11767)
4f494d4d9 2021-01-03 修复几个错误 (#13450)
295d66f91 2020-12-30 修复 PIP 警告中的语法 (#13380)
6cf76d7ac 2020-12-18 修复 pip 升级命令中的错误 :( (#13148)
5090fb0c8 2020-12-15 添加生成 integrations.json 的脚本 (#13073)
32971a1a2 2020-12-09 更新提供程序版本到 1.0.0 (#12955)
a075b6df9 2020-12-09 将剩余的传感器重命名为与AIP-21匹配 (#12927)
b40dffa08 2020-12-08 将剩余模块重命名为与AIP-21匹配 (#12917)
9b39f2478 2020-12-08 添加对每个供应商动态连接表单字段的支持 (#12558)
2037303ee 2020-11-29 添加从供应商处发现连接/钩子的支持 (#12466)
c34ef853c 2020-11-20 将每个供应商的文档构建分离出来 (#12444)
008035450 2020-11-18 更新供应商的README以适用于1.0.0b2批量发布 (#12449)
ae7cb4a1e 2020-11-17 更新回端口供应商更改中的错误提交哈希 (#12390)
6889a333c 2020-11-15 改进操作员和钩子参考文档 (#12366)
7825e8f59 2020-11-13 文档安装改进 (#12304)
250436d96 2020-11-10 修复Python文件中的拼写错误 (#12230)
502ba309e 2020-11-10 启用Markdownlint规则 - MD022/标题周围的空白 (#12225)
85a18e13d 2020-11-09 针对供应商包的交叉依赖项指向PyPI项目页面 (#12212)
59eb5de78 2020-11-09 更新供应商的README以适用于即将发布的1.0.0beta1版本 (#12206)
b2a28d159 2020-11-09 将供应商包脚本移动到dev (#12082)
41bf172c1 2020-11-04 简化字符串表达式 (#12093)
4e8f9cc8d 2020-11-03 启用Black - Python自动格式化工具 (#9550)
8c42cf1b0 2020-11-03 使用PyUpgrade使用Python 3.6功能 (#11447)
5a439e84e 2020-10-26 准备供应商发布0.0.2a1 (#11855)

发布 2020.10.29

提交 已提交 主题
b680bbc0b 2020-10-24 生成2020.10.29的回端口供应商readme/setup文件
349b0811c 2020-10-20 添加D200 pydocstyle检查 (#11688)
16e712971 2020-10-13 添加对Airflow 2.0的供应商包支持 (#11487)
0a0e1af80 2020-10-03 修复供应商README TOC中的损坏的Markdown链接 (#11249)

发布 2020.10.5

提交 已提交 主题
ca4238eb4 2020-10-02 将回端口包中的月份修复为十月 (#11242)
5220e4c38 2020-10-02 准备Backport发布2020.09.07 (#11238)
e3f96ce7a 2020-09-24 修复Optional[bool]的不正确使用 (#11138)
f3e87c503 2020-09-22 添加D202 pydocstyle检查 (#11032)
9549274d1 2020-09-09 将black升级到20.8b1 (#10818)
ac943c9e1 2020-09-08 [AIRFLOW-3964][AIP-17] 使用智能传感器合并和去重传感器任务 (#5499)
fdd9b6f65 2020-08-25 在供应商包上启用Black (#10543)
d76026545 2020-08-25 PyDocStyle: 不允许在文档字符串文本周围使用空格 (#10533)
3696c34c2 2020-08-24 修复“发布”一词中的错误 (#10528)
ee7ca128a 2020-08-22 修复供应商README中的损坏的Markdown引用 (#10483)
27339a5a0 2020-08-22 删除对Airflow Gitter的提及 (#10460)
7c206a82a 2020-08-22 将赋值替换为增强赋值 (#10468)
8f8db8959 2020-08-12 DbApiHook: 在get_pandas_df中支持kwargs (#9730)
b43f90abf 2020-08-09 修复仓库中的各种错误 (#10263)
3b3287d7a 2020-08-05 在Apache操作员上强制执行关键字只允许的参数 (#10170)
7d24b088c 2020-07-25 停止在example_dags (2)中的default_args中使用start_date (#9985)
33f0cd265 2020-07-22 apply_default保留mypy中的函数签名 (#9784)
c2db0dfeb 2020-07-22 mypy中的更严格规则 (#9705) (#9906)
5013fda8f 2020-07-20 为HiveMetastoreHook添加drop_partition功能 (#9472)
4d74ac211 2020-07-19 增加Apache和http供应商包的打字 (#9729)
44d4ae809 2020-07-06 升级到最新的pre-commit检查 (#9686)
e13a14c87 2020-06-21 启用并修复与空白相关的PyDocStyle检查 (#9458)
d0e7db402 2020-06-19 修复新发布的发布号 (#9408)

发布 2020.6.24

提交 已提交 主题
12af6a080 2020-06-19 为2020.6.23rc1发布准备最后的清理 (#9404)
c7e5bce57 2020-06-19 准备2020.6.23rc1的回端口发布候选 (#9370)
f6bd817a3 2020-06-16 引入'transfers'包 (#9320)
c78e2a5fe 2020-06-16 使hive宏与py3兼容 (#8598)
6350fd6eb 2020-06-08 不要使用术语“whitelist”——语言很重要 (#9174)
10796cb7c 2020-06-03 从单元测试中删除Hive/Hadoop/Java依赖项 (#9029)
0b0e4f7a4 2020-05-26 为回端口RC3发布做准备 (#9026)
00642a46d 2020-05-26 修复了20个剩余的错误命名的操作员的名称。 (#8994)
cdb3f2545 2020-05-26 现在在Airflow 1.10中,所有backport providers中的类都可以导入(#8991)
375d1ca22 2020-05-19 backport包的发布候选版本2于2020年5月20日发布(#8898)
12c5e5d8a 2020-05-17 为backport包准备发布候选版本(#8891)
f3521fb0e 2020-05-16 为backport包发布版本重新生成readme文件(#8886)
92585ca4c 2020-05-15 为backport操作符添加自动化发布说明生成(#8807)
93ea05880 2020-04-21 [AIRFLOW-7059] 将hive_conf传递给HiveServer2Hook中的get_pandas_df(#8380)
87969a350 2020-04-09 [AIRFLOW-6515] 将日志级别从Info/Warn更改为Error(#8170)
cb0bf4a14 2020-03-30 从base_hook中删除sql like函数(#7901)
4bde99f13 2020-03-23 使airflow/providers与pylint兼容(#7802)
7e6372a68 2020-03-23 在apache providers中添加对Super call的调用(#7820)
3320e432a 2020-02-24 [AIRFLOW-6817] 懒加载airflow.DAG以保持用户界面API不变(#7517)
4d03e33c1 2020-02-22 [AIRFLOW-6817] 从airflow/__init__.py中删除导入,将隐式导入替换为显式导入,并在UPDATING.MD中添加条目 - squashed/rebased(#7456)
f3ad5cf61 2020-02-03 [AIRFLOW-4681] 使sensors模块与pylint兼容(#7309)
97a429f9d 2020-02-02 [AIRFLOW-6714] 删除关于UTF-8的魔法注释(#7338)
83c037873 2020-01-30 [AIRFLOW-6674] 根据AIP-21将example_dags移动到相应位置(#7287)
057f3ae3a 2020-01-29 [AIRFLOW-6670][依赖于AIRFLOW-6669] 将contrib操作符移动到providers包中(#7286)
059eda05f 2020-01-21 [AIRFLOW-6610] 将软件类移动到providers包中(#7231)
0481b9a95 2020-01-12 [AIRFLOW-6539][AIP-21] 将Apache类移动到providers.apache包中(#7142)

项目详情


下载文件

下载您平台上的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。

源代码分发

构建分发

由以下机构支持