跳转到主要内容

Apache Airflow的Apache Spark提供程序包

项目描述

apache-airflow-providers-apache-spark

版本: 4.11.0

Apache Spark

提供程序包

这是一个为 apache.spark 提供程序的提供程序包。此提供程序包的所有类都位于 airflow.providers.apache.spark Python 包中。

您可以在文档中找到提供程序的包信息和变更日志。

安装

您可以通过 pip install apache-airflow-providers-apache-spark 在现有的 Airflow 2 安装之上安装此包(以下列出的 Requirements 中为支持的最低 Airflow 版本)。

该包支持以下 Python 版本:3.8、3.9、3.10、3.11、3.12

要求

PIP 包

所需版本

apache-airflow

>=2.8.0

pyspark

>=3.1.3

grpcio-status

>=1.59.0

跨提供程序包依赖

这些是可能需要的依赖项,以便使用包的所有功能。您需要安装指定的提供程序包才能使用它们。

您可以在从 PyPI 安装时安装此类跨提供程序依赖项。例如

pip install apache-airflow-providers-apache-spark[cncf.kubernetes]

依赖包

额外

apache-airflow-providers-cncf-kubernetes

cncf.kubernetes

提供程序包的变更日志可以在变更日志中找到。

项目详情


发布历史 发布通知 | RSS 源

下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分发

apache_airflow_providers_apache_spark-4.11.0.tar.gz (28.6 kB 查看散列)

上传时间

构建分发

由以下机构支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面