项目描述
包apache-airflow-backport-providers-apache-spark
版本: 2021.3.3
目录
回滚包
这是一个为 apache.spark 提供商的回端口包。此提供商包的所有类都位于 airflow.providers.apache.spark Python 包中。
此回端口包仅支持 Python 3.6+。
虽然 Airflow 1.10.* 仍然支持 Python 2.7+，但若要使用此回端口包，您需要将 Python 升级到 3.6+。
版本 2021.3.3
错误修复
在不使用 Kubernetes 的情况下使用 apache.spark 提供商 (#14187)
安装
您可以通过 pip install apache-airflow-backport-providers-apache-spark 在现有的 airflow 1.10.* 安装上安装此包
PIP需求
提供商类摘要
在 Airflow 2.0 中，所有针对 apache.spark 提供商的 operators、transfers、hooks、sensors 和 secrets 都位于 airflow.providers.apache.spark 包中。您可以在 提供商包的命名约定 中了解更多关于使用的信息
操作员
移动操作员
钩子
移动钩子
版本
版本 2021.3.3
| 提交 |
已提交 |
主题 |
| f9c9e9c38 |
2021-02-11 |
在不使用 Kubernetes 的情况下使用 apache.spark 提供商 (#14187) |
| 88bdcfa0d |
2021-02-04 |
准备发布新一波提供商。 (#14013) |
| ac2f72c98 |
2021-02-01 |
实现提供商版本化工具 (#13767) |
| a9ac2b040 |
2021-01-23 |
使用 flynt 切换到 f-strings (#13732) |
| 295d66f91 |
2020-12-30 |
修复 PIP 警告中的语法 (#13380) |
| 6cf76d7ac |
2020-12-18 |
修复 pip 升级命令中的错误 :( (#13148) |
| 5090fb0c8 |
2020-12-15 |
添加生成 integrations.json 的脚本 (#13073) |
| 32971a1a2 |
2020-12-09 |
将提供商版本更新到 1.0.0 (#12955) |
| b40dffa08 |
2020-12-08 |
将剩余模块重命名为符合 AIP-21 (#12917) |
| 9b39f2478 |
2020-12-08 |
为每个提供商添加动态连接表单字段的支持 (#12558) |
| bd90136aa |
2020-11-30 |
将操作员指南移动到提供商文档包中 (#12681) |
| c34ef853c |
2020-11-20 |
按提供商分离文档构建 (#12444) |
| 008035450 |
2020-11-18 |
更新提供商 README 以适用于 1.0.0b2 批量发布 (#12449) |
| ae7cb4a1e |
2020-11-17 |
更新回端口提供商更改中的错误提交哈希 (#12390) |
| 6889a333c |
2020-11-15 |
改进操作符和 hooks 的 ref 文档 (#12366) |
| 7825e8f59 |
2020-11-13 |
改进文档安装 (#12304) |
| 85a18e13d |
2020-11-09 |
针对提供商包的跨依赖关系指向 pypi 项目页面 (#12212) |
| 59eb5de78 |
2020-11-09 |
为即将发布的 1.0.0beta1 版本更新提供商 README (#12206) |
| b2a28d159 |
2020-11-09 |
将提供商包脚本移动到 dev (#12082) |
| 4e8f9cc8d |
2020-11-03 |
启用 Black - Python 自动格式化器 (#9550) |
| 8c42cf1b0 |
2020-11-03 |
使用 PyUpgrade 使用 Python 3.6 特性 (#11447) |
| 5a439e84e |
2020-10-26 |
准备提供商发布 0.0.2a1 (#11855) |
版本 2020.10.29
| 提交 |
已提交 |
主题 |
| b680bbc0b |
2020-10-24 |
为 2020.10.29 生成回端口提供商的 readmes/setup |
| 349b0811c |
2020-10-20 |
添加 D200 pydocstyle 检查 (#11688) |
| 16e712971 |
2020-10-13 |
添加了对 Airflow 2.0 提供商包的支持 (#11487) |
| d305876be |
2020-10-12 |
从 dict.get() 的默认 None 中删除冗余 None (#11448) |
| 0a0e1af80 |
2020-10-03 |
修复 Providers README TOC 中的损坏的 Markdown 链接 (#11249) |
版本 2020.10.5
| 提交 |
已提交 |
主题 |
| ca4238eb4 |
2020-10-02 |
将回端口包中的月份更正为十月 (#11242) |
| 5220e4c38 |
2020-10-02 |
准备回端口发布 2020.09.07 (#11238) |
| f3e87c503 |
2020-09-22 |
添加 D202 pydocstyle 检查 (#11032) |
| fdd9b6f65 |
2020-08-25 |
在 Providers 包上启用 Black (#10543) |
| d76026545 |
2020-08-25 |
PyDocStyle：禁止在文档字符串文本周围有空格（#10533） |
| d1bce91bb |
2020-08-25 |
PyDocStyle：启用D403：将文档字符串的第一个单词首字母大写（#10530） |
| 3696c34c2 |
2020-08-24 |
修复单词"release"中的错误（#10528） |
| ee7ca128a |
2020-08-22 |
修复Providers README中的损坏的Markdown引用（#10483） |
| 7c206a82a |
2020-08-22 |
将赋值替换为增强赋值（#10468） |
| 3b3287d7a |
2020-08-05 |
在apache运算符上强制执行关键字只传参数（#10170） |
| 7d24b088c |
2020-07-25 |
在example_dags的default_args中停止使用start_date（2）（#9985） |
| 33f0cd265 |
2020-07-22 |
apply_default保留函数签名以供mypy使用（#9784） |
| 1427e4acb |
2020-07-22 |
更新Spark提交运算符以支持Spark 3（#8730） |
| 4d74ac211 |
2020-07-19 |
增加Apache和http提供程序包的注解类型（#9729） |
| 0873070e0 |
2020-07-11 |
在SparkSubmitOperator中屏蔽其他形式的密码参数（#9615） |
| 13a827d80 |
2020-07-09 |
在运行yarn kill之前确保SparkSubmitOperator中的Kerberos令牌有效（#9044） |
| 067806d59 |
2020-06-29 |
为spark_jdbc_script添加测试（#9491） |
| d0e7db402 |
2020-06-19 |
修复新鲜发布版本中的发布号（#9408） |
版本 2020.6.24
| 提交 |
已提交 |
主题 |
| 12af6a080 |
2020-06-19 |
为2020.6.23rc1发布准备进行最后的清理（#9404） |
| c7e5bce57 |
2020-06-19 |
为2020.6.23rc1准备回端口发布候选版本（#9370） |
| 40bf8f28f |
2020-06-18 |
自动检测运算符描述中缺少对指南的引用（#9290） |
| f6bd817a3 |
2020-06-16 |
引入'传输'包（#9320） |
| 0b0e4f7a4 |
2020-05-26 |
为回端口的RC3发布做准备（#9026） |
| 00642a46d |
2020-05-26 |
修复剩余20个错误命名的运算符的名称（#8994） |
| 375d1ca22 |
2020-05-19 |
回端口软件包2020.05.20的发布候选版本2（#8898） |
| 12c5e5d8a |
2020-05-17 |
为回端口软件包准备发布候选版本（#8891） |
| f3521fb0e |
2020-05-16 |
为回端口软件包发布重新生成readme文件（#8886） |
| 92585ca4c |
2020-05-15 |
为回端口运算符添加自动发布说明生成（#8807） |
| 7506c73f1 |
2020-05-10 |
向Spark JDBC钩子添加默认conf参数（#8787） |
| 487b5cc50 |
2020-05-06 |
为Apache Spark运算符添加指南（#8305） |
| 87969a350 |
2020-04-09 |
[AIRFLOW-6515] 将日志级别从Info/Warn更改为Error（#8170） |
| be1451b0e |
2020-04-02 |
[AIRFLOW-7026] 改进SparkSqlHook的错误信息（#7749） |
| 4bde99f13 |
2020-03-23 |
使airflow/providers与pylint兼容（#7802） |
| 7e6372a68 |
2020-03-23 |
在Apache提供程序中添加对Super调用的调用（#7820） |
| 2327aa5a2 |
2020-03-12 |
[AIRFLOW-7025] 修复SparkSqlHook.run_query以正确处理其参数（#7677） |
| 024b4bf96 |
2020-03-10 |
[AIRFLOW-7024] 向SparkSqlOperator添加verbose参数支持（#7676） |
| b59042b5a |
2020-02-28 |
[AIRFLOW-6949] 尊重SparkSubmitOperator中对spark.kubernetes.namespace的显式conf（#7575） |
| 97a429f9d |
2020-02-02 |
[AIRFLOW-6714] 删除关于UTF-8的魔法注释（#7338） |
| 0481b9a95 |
2020-01-12 |
[AIRFLOW-6539][AIP-21] 将Apache类移动到providers.apache包（#7142） |
下载文件
下载适用于您平台的文件。如果您不确定选择哪个，请了解有关安装软件包的更多信息。
源分布
构建发行版
