Apache Airflow的回滚提供程序包apache-airflow-backport-providers-amazon

导航

验证详情

这些详情已经通过PyPI 验证
维护者
ashb的gravatar.com头像 ashb kaxil的gravatar.com头像 kaxil potiuk的gravatar.com头像 potiuk

未验证详情

这些详情尚未通过PyPI验证
项目链接
元数据
  • 许可证： Apache软件许可证 (Apache许可证2.0)
  • 作者： Apache软件基金会
  • 需求： Python ~=3.6
分类

项目描述

包apache-airflow-backport-providers-amazon

版本： 2021.3.3

目录

回滚包

这是一个为 amazon 提供程序的回端口提供程序包。此提供程序包的所有类都在 airflow.providers.amazon Python 包中。

仅支持 Python 3.6+ 的回端口包。

虽然 Airflow 1.10.* 继续支持 Python 2.7+ - 如果您想使用此回端口包，则需要将 Python 升级到 3.6+。

版本发布 2021.3.3

特性

  • 为 Glue Job 添加支持额外的参数。 (#14027)
  • 避免在 S3 远程日志上传中使用线程 (#14414)
  • 允许 AWS Operator RedshiftToS3Transfer 运行自定义查询 (#14177)
  • 如果使用 STS 凭据，则包括 STS 令牌 (#11227)

版本发布 2021.2.5

特性

  • 为与 EmailOperator 一起使用添加 aws ses 电子邮件后端。 (#13986)
  • 将 bucket_name 添加到 S3 操作符的模板字段中 (#13973)
  • 添加 ExasolToS3Operator (#13847)
  • AWS Glue 摘要器集成 (#13072)
  • 将 acl_policy 添加到 S3CopyObjectOperator (#13773)
  • 在 MongotoS3Operator 中允许 AllowDiskUse 参数和文档 (#12033)
  • 添加 S3ToFTPOperator (#11747)
  • 为 ECSOperator 添加 xcom 推送 (#12096)
  • [AIRFLOW-3723] 为 mongo_to_S3 操作符添加 Gzip 功能 (#13187)
  • 添加 S3KeySizeSensor (#13049)
  • 将 'mongo_collection' 添加到 MongoToS3Operator 的模板字段中 (#13361)
  • 允许在 AWS 批处理作业提交中添加标签 (#13396)

错误修复

  • 修复 GCSToS3Operator 中的错误 (#13718)
  • 修复 S3KeysUnchangedSensor，以便模板字段正常工作 (#13490)

导入路径的变化

如果您是从 2020.10.5 升级，请注意以下导入路径的变化

旧路径 新路径
airflow.providers.amazon.aws.hooks.aws_dynamodb.AwsDynamoDBHook airflow.providers.amazon.aws.hooks.dynamodb.AwsDynamoDBHook

安装

您可以通过 pip install apache-airflow-backport-providers-amazon 在现有的 airflow 1.10.* 安装上安装此包。

PIP需求

PIP 包 所需版本
boto3 >=1.15.0,<1.16.0
botocore >=1.18.0,<1.19.0
watchtower ~=0.7.3

跨提供程序包依赖关系

这些是可能需要使用包的所有功能的依赖项。您需要安装指定的回端口提供程序包才能使用它们。

您可以从 PyPI 安装此类跨提供程序依赖项。例如

pip install apache-airflow-backport-providers-amazon[apache.hive]
依赖包 额外
apache-airflow-backport-providers-apache-hive apache.hive
apache-airflow-backport-providers-exasol exasol
apache-airflow-backport-providers-ftp ftp
apache-airflow-backport-providers-google google
apache-airflow-backport-providers-imap imap
apache-airflow-backport-providers-mongo mongo
apache-airflow-backport-providers-mysql mysql
apache-airflow-backport-providers-postgres postgres
apache-airflow-backport-providers-ssh ssh

提供程序类摘要

在 Airflow 2.0 中，所有 amazon 提供程序的运营商、传输、钩子、传感器、秘密都在 airflow.providers.amazon 包中。您可以在 提供程序包的命名约定 中了解更多关于使用的命名约定。

操作符

新操作符

新的 Airflow 2.0 运营商： airflow.providers.amazon 包
aws.operators.cloud_formation.CloudFormationCreateStackOperator
aws.operators.cloud_formation.CloudFormationDeleteStackOperator
aws.operators.datasync.AWSDataSyncOperator
aws.operators.ec2_start_instance.EC2StartInstanceOperator
aws.operators.ec2_stop_instance.EC2StopInstanceOperator
aws.operators.emr_modify_cluster.EmrModifyClusterOperator
aws.operators.glacier.GlacierCreateJobOperator
aws.operators.glue.AwsGlueJobOperator
aws.operators.glue_crawler.AwsGlueCrawlerOperator
aws.operators.s3_bucket.S3CreateBucketOperator
aws.operators.s3_bucket.S3DeleteBucketOperator
aws.operators.s3_file_transform.S3FileTransformOperator
aws.operators.sagemaker_processing.SageMakerProcessingOperator
aws.operators.step_function_get_execution_output.StepFunctionGetExecutionOutputOperator
aws.operators.step_function_start_execution.StepFunctionStartExecutionOperator

移动操作符

Airflow 2.0 操作符： airflow.providers.amazon 包 Airflow 1.10.* 之前的位置（通常为 airflow.contrib）
aws.operators.athena.AWSAthenaOperator contrib.operators.aws_athena_operator.AWSAthenaOperator
aws.operators.batch.AwsBatchOperator contrib.operators.awsbatch_operator.AWSBatchOperator
aws.operators.ecs.ECSOperator contrib.operators.ecs_operator.ECSOperator
aws.operators.emr_add_steps.EmrAddStepsOperator contrib.operators.emr_add_steps_operator.EmrAddStepsOperator
aws.operators.emr_create_job_flow.EmrCreateJobFlowOperator contrib.operators.emr_create_job_flow_operator.EmrCreateJobFlowOperator
aws.operators.emr_terminate_job_flow.EmrTerminateJobFlowOperator contrib.operators.emr_terminate_job_flow_operator.EmrTerminateJobFlowOperator
aws.operators.s3_copy_object.S3CopyObjectOperator contrib.operators.s3_copy_object_operator.S3CopyObjectOperator
aws.operators.s3_delete_objects.S3DeleteObjectsOperator contrib.operators.s3_delete_objects_operator.S3DeleteObjectsOperator
aws.operators.s3_list.S3ListOperator contrib.operators.s3_list_operator.S3ListOperator
aws.operators.sagemaker_base.SageMakerBaseOperator contrib.operators.sagemaker_base_operator.SageMakerBaseOperator
aws.operators.sagemaker_endpoint.SageMakerEndpointOperator contrib.operators.sagemaker_endpoint_operator.SageMakerEndpointOperator
aws.operators.sagemaker_endpoint_config.SageMakerEndpointConfigOperator contrib.operators.sagemaker_endpoint_config_operator.SageMakerEndpointConfigOperator
aws.operators.sagemaker_model.SageMakerModelOperator contrib.operators.sagemaker_model_operator.SageMakerModelOperator
aws.operators.sagemaker_training.SageMakerTrainingOperator contrib.operators.sagemaker_training_operator.SageMakerTrainingOperator
aws.operators.sagemaker_transform.SageMakerTransformOperator contrib.operators.sagemaker_transform_operator.SageMakerTransformOperator
aws.operators.sagemaker_tuning.SageMakerTuningOperator contrib.operators.sagemaker_tuning_operator.SageMakerTuningOperator
aws.operators.sns.SnsPublishOperator contrib.operators.sns_publish_operator.SnsPublishOperator
aws.operators.sqs.SQSPublishOperator contrib.operators.aws_sqs_publish_operator.SQSPublishOperator

传输操作符

新的传输操作符

新 Airflow 2.0 转移： airflow.providers.amazon 包
aws.transfers.exasol_to_s3.ExasolToS3Operator
aws.transfers.glacier_to_gcs.GlacierToGCSOperator
aws.transfers.mysql_to_s3.MySQLToS3Operator
aws.transfers.s3_to_ftp.S3ToFTPOperator

移动的传输操作符

Airflow 2.0 转移： airflow.providers.amazon 包 Airflow 1.10.* 之前的位置（通常为 airflow.contrib）
aws.transfers.dynamodb_to_s3.DynamoDBToS3Operator contrib.operators.dynamodb_to_s3.DynamoDBToS3Operator
aws.transfers.gcs_to_s3.GCSToS3Operator operators.gcs_to_s3.GCSToS3Operator
aws.transfers.google_api_to_s3.GoogleApiToS3Operator operators.google_api_to_s3_transfer.GoogleApiToS3Transfer
aws.transfers.hive_to_dynamodb.HiveToDynamoDBOperator contrib.operators.hive_to_dynamodb.HiveToDynamoDBOperator
aws.transfers.imap_attachment_to_s3.ImapAttachmentToS3Operator contrib.operators.imap_attachment_to_s3_operator.ImapAttachmentToS3Operator
aws.transfers.mongo_to_s3.MongoToS3Operator contrib.operators.mongo_to_s3.MongoToS3Operator
aws.transfers.redshift_to_s3.RedshiftToS3Operator operators.redshift_to_s3_operator.RedshiftToS3Transfer
aws.transfers.s3_to_redshift.S3ToRedshiftOperator operators.s3_to_redshift_operator.S3ToRedshiftTransfer
aws.transfers.s3_to_sftp.S3ToSFTPOperator contrib.operators.s3_to_sftp_operator.S3ToSFTPOperator
aws.transfers.sftp_to_s3.SFTPToS3Operator contrib.operators.sftp_to_s3_operator.SFTPToS3Operator

传感器

新的传感器

新 Airflow 2.0 传感器： airflow.providers.amazon 包
aws.sensors.cloud_formation.CloudFormationCreateStackSensor
aws.sensors.cloud_formation.CloudFormationDeleteStackSensor
aws.sensors.ec2_instance_state.EC2InstanceStateSensor
aws.sensors.glacier.GlacierJobOperationSensor
aws.sensors.glue.AwsGlueJobSensor
aws.sensors.glue_crawler.AwsGlueCrawlerSensor
aws.sensors.redshift.AwsRedshiftClusterSensor
aws.sensors.s3_key.S3KeySizeSensor
aws.sensors.s3_keys_unchanged.S3KeysUnchangedSensor
aws.sensors.sagemaker_training.SageMakerTrainingSensor
aws.sensors.step_function_execution.StepFunctionExecutionSensor

移动的传感器

Airflow 2.0 传感器： airflow.providers.amazon 包 Airflow 1.10.* 之前的位置（通常为 airflow.contrib）
aws.sensors.athena.AthenaSensor contrib.sensors.aws_athena_sensor.AthenaSensor
aws.sensors.emr_base.EmrBaseSensor contrib.sensors.emr_base_sensor.EmrBaseSensor
aws.sensors.emr_job_flow.EmrJobFlowSensor contrib.sensors.emr_job_flow_sensor.EmrJobFlowSensor
aws.sensors.emr_step.EmrStepSensor contrib.sensors.emr_step_sensor.EmrStepSensor
aws.sensors.glue_catalog_partition.AwsGlueCatalogPartitionSensor contrib.sensors.aws_glue_catalog_partition_sensor.AwsGlueCatalogPartitionSensor
aws.sensors.s3_key.S3KeySensor sensors.s3_key_sensor.S3KeySensor
aws.sensors.s3_prefix.S3PrefixSensor sensors.s3_prefix_sensor.S3PrefixSensor
aws.sensors.sagemaker_base.SageMakerBaseSensor contrib.sensors.sagemaker_base_sensor.SageMakerBaseSensor
aws.sensors.sagemaker_endpoint.SageMakerEndpointSensor contrib.sensors.sagemaker_endpoint_sensor.SageMakerEndpointSensor
aws.sensors.sagemaker_transform.SageMakerTransformSensor contrib.sensors.sagemaker_transform_sensor.SageMakerTransformSensor
aws.sensors.sagemaker_tuning.SageMakerTuningSensor contrib.sensors.sagemaker_tuning_sensor.SageMakerTuningSensor
aws.sensors.sqs.SQSSensor contrib.sensors.aws_sqs_sensor.SQSSensor

钩子

新的钩子

新Airflow 2.0钩子：airflow.providers.amazon包
aws.hooks.batch_client.AwsBatchClientHook
aws.hooks.batch_waiters.AwsBatchWaitersHook
aws.hooks.cloud_formation.AWSCloudFormationHook
aws.hooks.ec2.EC2Hook
aws.hooks.elasticache_replication_group.ElastiCacheReplicationGroupHook
aws.hooks.glacier.GlacierHook
aws.hooks.glue.AwsGlueJobHook
aws.hooks.glue_crawler.AwsGlueCrawlerHook
aws.hooks.kinesis.AwsFirehoseHook
aws.hooks.redshift.RedshiftHook
aws.hooks.secrets_manager.SecretsManagerHook
aws.hooks.ses.SESHook
aws.hooks.step_function.StepFunctionHook

移动的钩子

Airflow 2.0钩子：airflow.providers.amazon包 Airflow 1.10.* 之前的位置（通常为 airflow.contrib）
aws.hooks.athena.AWSAthenaHook contrib.hooks.aws_athena_hook.AWSAthenaHook
aws.hooks.base_aws.AwsBaseHook contrib.hooks.aws_hook.AwsHook
aws.hooks.datasync.AWSDataSyncHook contrib.hooks.aws_datasync_hook.AWSDataSyncHook
aws.hooks.dynamodb.AwsDynamoDBHook contrib.hooks.aws_dynamodb_hook.AwsDynamoDBHook
aws.hooks.emr.EmrHook contrib.hooks.emr_hook.EmrHook
aws.hooks.glue_catalog.AwsGlueCatalogHook contrib.hooks.aws_glue_catalog_hook.AwsGlueCatalogHook
aws.hooks.lambda_function.AwsLambdaHook contrib.hooks.aws_lambda_hook.AwsLambdaHook
aws.hooks.logs.AwsLogsHook contrib.hooks.aws_logs_hook.AwsLogsHook
aws.hooks.s3.S3Hook hooks.S3_hook.S3Hook
aws.hooks.sagemaker.SageMakerHook contrib.hooks.sagemaker_hook.SageMakerHook
aws.hooks.sns.AwsSnsHook contrib.hooks.aws_sns_hook.AwsSnsHook
aws.hooks.sqs.SQSHook contrib.hooks.aws_sqs_hook.SQSHook

秘密

移动的秘密

Airflow 2.0机密：airflow.providers.amazon包 Airflow 1.10.* 之前的位置（通常为 airflow.contrib）
aws.secrets.secrets_manager.SecretsManagerBackend contrib.secrets.aws_secrets_manager.SecretsManagerBackend
aws.secrets.systems_manager.SystemsManagerParameterStoreBackend contrib.secrets.aws_systems_manager.SystemsManagerParameterStoreBackend

版本发布

版本发布 2021.3.3

提交 已提交 主题
13854c32a 2021-02-27 为 Glue Job 添加支持额外的参数。 (#14027)
0d6cae417 2021-02-24 避免在S3远程日志上传中使用线程 (#14414)
ca35bd7f7 2021-02-21 默认情况下，PIP将在本地文件夹中安装所有包 (#14125)
1b1472630 2021-02-11 允许 AWS Operator RedshiftToS3Transfer 运行自定义查询 (#14177)
9034f277e 2021-02-10 记录电子邮件后端凭证的配置。（#14006）
8c5594b02 2021-02-08 如果使用 STS 凭据，则包括 STS 令牌 (#11227)
cddbf9c11 2021-02-06 使用MongoDB颜色为MongoToS3Operator (#14103)
10343ec29 2021-02-05 发布提供程序RC后对文档和工具进行修正 (#14082)

版本发布 2021.2.5

提交 已提交 主题
88bdcfa0d 2021-02-04 准备发布新一波的提供程序。（#14013）
ac2f72c98 2021-02-01 实现提供程序版本化工具 (#13767)
01049ddce 2021-01-31 为与 EmailOperator 一起使用添加 aws ses 电子邮件后端。 (#13986)
ecfdc60bb 2021-01-29 将 bucket_name 添加到 S3 操作符的模板字段中 (#13973)
d0ab7f6d3 2021-01-25 添加 ExasolToS3Operator (#13847)
6d55f329f 2021-01-25 AWS Glue 摘要器集成 (#13072)
f473ca713 2021-01-24 在使用“GCSHook”时，将“google_cloud_storage_conn_id”替换为“gcp_conn_id”（#13851）
a9ac2b040 2021-01-23 使用flynt切换到f-strings。（#13732）
3fd5ef355 2021-01-21 添加缺失的集成徽标 (#13717)
29730d720 2021-01-20 将 acl_policy 添加到 S3CopyObjectOperator (#13773)
c065d3218 2021-01-19 在 MongotoS3Operator 中允许 AllowDiskUse 参数和文档 (#12033)
ab5fe56ac 2021-01-16 修复 GCSToS3Operator 中的错误 (#13718)
04d278f93 2021-01-13 添加 S3ToFTPOperator (#11747)
8d42d9ed6 2021-01-11 为 ECSOperator 添加 xcom 推送 (#12096)
308f1d066 2021-01-07 [AIRFLOW-3723] 为 mongo_to_S3 操作符添加 Gzip 功能 (#13187)
f69405fb0 2021-01-07 修复 S3KeysUnchangedSensor，以便模板字段正常工作 (#13490)
4e479e1e1 2021-01-06 添加 S3KeySizeSensor (#13049)
f7a1334ab 2021-01-02 将 &#39;mongo_collection&#39; 添加到 MongoToS3Operator 的模板字段中 (#13361)
bd74eb0ca 2020-12-31 允许在 AWS 批处理作业提交中添加标签 (#13396)
295d66f91 2020-12-30 修复PIP警告中的语法错误 (#13380)
625576a3a 2020-12-18 修复拼写错误 (#13135)
6cf76d7ac 2020-12-18 修复pip升级命令中的错误 :( (#13148))
5090fb0c8 2020-12-15 添加生成integrations.json的脚本 (#13073)
32971a1a2 2020-12-09 更新提供程序版本到1.0.0 (#12955)
d5589673a 2020-12-08 将dummy_operator.py移动到dummy.py (#11178) (#11293)
b40dffa08 2020-12-08 重命名剩余的模块以匹配AIP-21 (#12917)
9b39f2478 2020-12-08 添加对每个提供程序动态连接表单字段的支持 (#12558)
bd90136aa 2020-11-30 将操作员指南移动到提供程序文档包中 (#12681)
02d94349b 2020-11-29 不要使用time.time()或timezone.utcnow()进行持续时间计算 (#12353)
de3b1e687 2020-11-28 将连接指南移动到提供程序文档包中 (#12653)
663259d4b 2020-11-25 修复AWS DataSync测试失败 (#11020)
3fa51f94d 2020-11-24 在provider.yaml文件中添加重复检查 (#12578)
ed09915a0 2020-11-23 [AIRFLOW-5115] 修复S3KeySensor失败接受template_fields的错误 (#12389)
370e7d07d 2020-11-21 修复Python文档字符串参数 (#12513)
c34ef853c 2020-11-20 按提供者分离文档构建 (#12444)
008035450 2020-11-18 更新1.0.0b2批量发布版本的提供者README (#12449)
7ca0b6f12 2020-11-18 启用Markdownlint规则MD003/heading-style/header-style (#12427) (#12438)

版本发布 2020.11.23

提交 已提交 主题
4873d9759 2020-11-18 启用Markdownlint规则MD003/heading-style/header-style (#12427)
ae7cb4a1e 2020-11-17 更新回端口提供者更改中的错误提交哈希 (#12390)
6889a333c 2020-11-15 改进操作员和钩子参考文档 (#12366)
c94b1241a 2020-11-13 为S3远程日志添加额外的错误处理 (#9908)
7825e8f59 2020-11-13 文档安装改进 (#12304)
250436d96 2020-11-10 修复Python文件中的拼写错误 (#12230)
85a18e13d 2020-11-09 针对提供者包的交叉依赖，指向pypi项目页面 (#12212)
59eb5de78 2020-11-09 为即将到来的1.0.0beta1版本更新提供者README (#12206)
b2a28d159 2020-11-09 将提供者包的脚本移动到dev (#12082)
fcb6b00ef 2020-11-08 使用Google凭据为AWS添加身份验证 (#12079)
fb6bddba0 2020-11-07 AWS Secrets后端中，查找是可选的 (#12143)
cf9437d79 2020-11-06 简化字符串表达式 (#12123)
41bf172c1 2020-11-04 简化字符串表达式 (#12093)
4e8f9cc8d 2020-11-03 启用Black - Python自动格式化器 (#9550)
8c42cf1b0 2020-11-03 使用PyUpgrade使用Python 3.6功能 (#11447)
5e77a6154 2020-11-02 S3DeleteBucketOperator的文档字符串修复 (#12049)
822285134 2020-10-29 将模板字段添加到RedshiftToS3Operator和S3ToRedshiftOperator (#11844)
db121f726 2020-10-28 将截断表（复制前）选项添加到S3ToRedshiftOperator (#9246)
5a439e84e 2020-10-26 准备提供者版本0.0.2a1 (#11855)
8afdb6ac6 2020-10-26 修复拼写错误 (#11825)

版本发布 2020.10.29

提交 已提交 主题
b680bbc0b 2020-10-24 为2020.10.29生成回端口提供者readme和setup (#11855)
6ce855af1 2020-10-24 修复拼写错误 (#11821)
3934ef224 2020-10-24 删除冗余的内置导入 (#11809)
4c8e033c0 2020-10-24 修复拼写和语法错误 (#11814)
483068745 2020-10-24 使用Python 3风格的超类 (#11806)
0df60b773 2020-10-23 为ECSOperator添加reattach标志 (#10643)
b9d677cdd 2020-10-22 为aws提供者添加类型提示 (#11531)
349b0811c 2020-10-20 添加D200 pydocstyle检查 (#11688)
674368f66 2020-10-19 修复MySQLToS3 float到int转换的问题 (#10437)
0823d46a7 2020-10-16 为AWS操作符和钩子添加类型注解 (#11434)
16e712971 2020-10-13 添加对Airflow 2.0的提供者包支持 (#11487)
d38a0a781 2020-10-12 为aws云形成添加类型提示 (#11470)
d305876be 2020-10-12 从dict.get()中删除冗余的None默认值 (#11448)
c3e340584 2020-10-11 更改AwsDynamoDB钩子模块的前缀 (#11209)
42a23d16f 2020-10-11 将MySQLToS3Operator的s3_bucket更新为template_fields (#10778)
422b61a9d 2020-10-09 为创建、描述和删除复制组添加ElastiCache Hook (#8701)
dd98b2149 2020-10-06 将acl_policy参数添加到GCSToS3Operator (#10804) (#10829)
32b3cfbcf 2020-10-06 对所有Amazon钩子执行严格类型检查 (#11250)
6d573e8ab 2020-10-03 为s3/redshift传输操作符添加s3 key到模板字段 (#10890)
0a0e1af80 2020-10-03 修复提供者README TOC中的损坏Markdown链接 (#11249)

版本发布 2020.10.5

提交 已提交 主题
ca4238eb4 2020-10-02 将回端口包的月份更正为10月 (#11242)
5220e4c38 2020-10-02 准备回端口版本2020.09.07 (#11238)
00ffedb8c 2020-09-30 将Amazon Glacier添加到GCS传输操作符 (#10947)
e3f96ce7a 2020-09-24 修复Incorrect Usage of Optional[bool] (#11138)
f3e87c503 2020-09-22 添加D202 pydocstyle检查 (#11032)
b61225a88 2020-09-21 添加D204 pydocstyle检查 (#11031)
2410f592a 2020-09-19 从AWS Systems Manager获取带有敏感数据的Airflow配置 (#11023)
2bf7b7cac 2020-09-19 为amazon provider EMR添加typing (#10910)
9edfcb7ac 2020-09-19 支持S3Hook和GCSToS3Operator中的extra_args (#11001)
4e1f3a69d 2020-09-14 [AIRFLOW-10645] 添加AWS Secrets Manager Hook (#10655)
e9add7916 2020-09-14 修复Master上的静态测试失败 (#10927)
383a118d2 2020-09-14 为AWS钩子添加更多类型注解 (#10671)
9549274d1 2020-09-09 升级black到20.8b1 (#10818)
2934220dc 2020-09-08 总是从S3Hook列表方法返回一个列表 (#10774)
f40ac9b15 2020-09-01 添加placement_strategy选项 (#9444)
e4878e677 2020-08-31 修复s3 hook read_key方法的类型提示 (#10653)
2ca615cff 2020-08-29 更新Google Cloud品牌 (#10642)
8969b7185 2020-08-28 从AWS操作符中删除坏字符 (#10590)
8349061f9 2020-08-26 改进AWS Athena Hook/Operator的文档字符串 (#10580)
fdd9b6f65 2020-08-25 在提供者包中启用Black (#10543)
3696c34c2 2020-08-24 修复单词"发布"中的拼写错误 (#10528)
3734876d9 2020-08-24 在Google操作符中实现模拟 (#10052)
ee7ca128a 2020-08-22 修复提供者README中的损坏的Markdown引用 (#10483)
c6358045f 2020-08-22 修复S3ToRedshift COPY查询 (#10436)
7c206a82a 2020-08-22 将赋值替换为增强赋值 (#10468)
27d08b76a 2020-08-21 Amazon SES Hook (#10391)
dea345b05 2020-08-17 修复AwsGlueJobSensor在Glue作业完成后停止运行 (#9022)
f6734b3b8 2020-08-12 启用Sphinx拼写检查以生成文档 (#10280)
82f744b87 2020-08-11 向AwsGlueJobHook、RedshiftHook模块添加类型注解 (#10286)
19bc97d0c 2020-08-10 撤销"添加Amazon SES钩子 (#10004)" (#10276)
f06fe616e 2020-08-10 添加Amazon SES钩子 (#10004)
0c77ea8a3 2020-08-06 向S3钩子模块添加类型注解 (#10164)
24c8e4c2d 2020-08-06 将所有构造函数中的args参数移除 (#10163)
9667314b2 2020-08-05 向amazon提供者包中的操作符添加正确的签名 (#10167)
000287753 2020-08-03 改进amazon/aws/athena的打字覆盖率 (#10025)
53ada6e79 2020-08-03 添加S3KeysUnchangedSensor (#9817)
aeea71274 2020-08-02 从提供者操作符构造函数中删除args参数 (#10097)
2b8dea64e 2020-08-01 修复Athena传感器重试中的拼写错误 (#10079)
1508c43ec 2020-07-29 添加用于ProcessingJobs的新SageMaker操作符 (#9594)
7d24b088c 2020-07-25 在example_dags的default_args中停止使用start_date (2) (#9985)
8b10a4b35 2020-07-25 在example_dags的default_args中停止使用start_date (#9982)
33f0cd265 2020-07-22 apply_default保留mypy的函数签名 (#9784)
e7c87fe45 2020-07-20 重构AwsBaseHook._get_credentials (#9878)
2577f9334 2020-07-16 修复S3FileTransformOperator以仅支持S3 Select转换 (#8936)
52b6efe1e 2020-07-15 向S3DeleteObjectsOperator添加按前缀删除选项 (#9350)
553bb7af7 2020-07-13 在装饰器中保留函数签名 (#9786)
2f31b3060 2020-07-08 从Secret Backends获取包含敏感数据的Airflow配置 (#9645)
07b81029e 2020-07-08 允许AWSAthenaHook获取超过1000/第一页的结果 (#6075)
564192c16 2020-07-08 将AWS StepFunctions集成添加到aws提供者 (#8749)
ecce1ace7 2020-07-08 [AIRFLOW-XXXX] 从AWSAthenaOperator中删除不必要的文档字符串
a79e2d4c4 2020-07-06 将提供者的日志任务处理程序移动到提供者包 (#9604)
ee20086b8 2020-07-02 将S3TaskHandler移动到AWS提供者包 (#9602)
40add26d4 2020-06-29 移除对airflow.contrib的所有引用 (#9559)
c858babdd 2020-06-26 从AWS Secrets Backends中的Super调用中删除kwargs (#9523)
87fdbd070 2020-06-25 使用字面量语法而不是函数调用创建数据结构 (#9516)
c7a454aa3 2020-06-22 添加AWS ECS系统测试 (#8888)
df8efd04f 2020-06-21 启用并修复"文档字符串内容问题"PyDocStyle检查 (#9460)
e13a14c87 2020-06-21 启用并修复与空白相关的PyDocStyle检查 (#9458)
d0e7db402 2020-06-19 修复新鲜发布的发布号 (#9408)

版本发布 2020.6.24

提交 已提交 主题
12af6a080 2020-06-19 为2020.6.23rc1发布准备进行最终清理 (#9404)
992a18c84 2020-06-19 将MySqlToS3Operator移动到transfers (#9400)
a60f589aa 2020-06-19 添加MySqlToS3Operator (#9054)
c7e5bce57 2020-06-19 为2020.6.23rc1准备回滚发布候选 (#9370)
40bf8f28f 2020-06-18 自动检测操作符描述中缺少指南引用 (#9290)
f6bd817a3 2020-06-16 引入'transfers'包 (#9320)
58a8ec0e4 2020-06-16 AWSBatchOperator与ClientHook的关系更改为组合 (#9306)
a80cd25e8 2020-06-15 在 s3 钩子 load_string 和 load_bytes 中关闭/刷新字节流 (#9211)
ffb857403 2020-06-14 从 SystemsManagerParameterStoreBackend 解密机密 (#9214)
a69b031f2 2020-06-10 添加 S3ToRedshift 示例 dag 和系统测试 (#8877)
17adcea83 2020-06-02 修复 s3_file_transform 和 gcs 中的子进程错误处理 (#9106)
357e11e0c 2020-05-29 添加删除/创建 S3 存储桶操作符 (#8895)
1ed171bfb 2020-05-28 为 S3FileTransformOperator 添加 script_args (#9019)
0b0e4f7a4 2020-05-26 准备 backports 的 RC3 版本发布 (#9026)
00642a46d 2020-05-26 修复 20 个命名错误的操作符名称。 (#8994)
1d36b0303 2020-05-23 修复文档中的引用 (#8984)
f946f96da 2020-05-23 从 dynamodb_to_s3 操作符中移除旧 json boto 兼容性 (#8987)
375d1ca22 2020-05-19 backport 软件包的候选版本 2 2020.05.20 (#8898)
12c5e5d8a 2020-05-17 为 backport 软件包准备候选版本 (#8891)
f3521fb0e 2020-05-16 为 backport 包发布重新生成说明文件 (#8886)
f4edd90a9 2020-05-16 通过不实际运行函数来加速 TestAwsLambdaHook (#8882)
92585ca4c 2020-05-15 为 backport 操作符添加自动生成发布说明 (#8807)
85bbab27d 2020-05-15 添加 EMR 操作符 howto 文档 (#8863)
e61b9bb9b 2020-05-13 添加 AWS EMR 系统测试 (#8618)
ed3f5131a 2020-05-13 正确传递 AWSAthenaOperator 中的睡眠时间到钩子。 (#8845)
7236862a1 2020-05-12 [AIRFLOW-2310] 启用 AWS Glue Job 集成 (#6007)
d590e5e76 2020-05-11 为 ECSOperator 添加传播标签选项 (#8811)
0c3db84c3 2020-05-11 [AIRFLOW-7068] 创建 EC2 钩子、操作符和传感器 (#7731)
cbebed2b4 2020-05-10 允许向 AWS SSM 客户端传递 backend_kwargs (#8802)
c7788a689 2020-05-10 添加 imap_attachment_to_s3 示例 dag 和系统测试 (#8669)
ff5b70149 2020-05-07 添加 google_api_to_s3_transfer 示例 dag 和系统测试 (#8581)
4421f011e 2020-05-01 改进 EMR 作业和步骤操作符的模板功能 (#8572)
379a884d6 2020-04-28 修复：aws 钩子应在没有 conn id 的情况下工作 (#8534)
74bc316c5 2020-04-27 [AIRFLOW-4438] 向 S3_hook 添加 Gzip 压缩 (#8571)
7ea66a1a9 2020-04-26 为 ECSOperator 添加示例 dag (#8452)
b6434dedf 2020-04-24 [AIRFLOW-7111] 向 S3Hook 添加 generate_presigned_url 方法 (#8441)
becedd5af 2020-04-19 从 ECSOperator 中移除不相关的 EC2 引用 (#8451)
ab1290cb0 2020-04-13 将 launch_type 参数设置为可选 (#8248)
87969a350 2020-04-09 [AIRFLOW-6515] 将日志级别从 Info/Warn 更改为 Error (#8170)
b46d6c060 2020-04-08 添加对 AWS Secrets Manager 作为 Secrets 后端的支持 (#8186)
68d1714f2 2020-04-04 [AIRFLOW-6822] AWS 钩子应缓存 boto3 客户端 (#7541)
8a0240257 2020-03-31 将 CloudBaseHook 重命名为 GoogleBaseHook 并将其移动到 google.common (#8011)
7239d9a82 2020-03-28 从 AWS 系统管理器参数存储获取 Airflow 变量 (#7945)
eb4af4f94 2020-03-28 使 BaseSecretsBackend.build_path 通用 (#7948)
438da7241 2020-03-28 [AIRFLOW-5825] SageMakerEndpointOperator 不是幂等的 (#7891)
686d7d50b 2020-03-25 标准化 SecretBackend 类名称 (#7846)
eef87b995 2020-03-23 [AIRFLOW-7105] 统一 Secrets Backend 方法接口 (#7830)
5648dfbc3 2020-03-23 在 'amazon'、'cloudant' 和 'databricks' 提供程序中添加对超类调用的缺失调用 (#7827)
a36002412 2020-03-19 [AIRFLOW-5705] 使 AwsSsmSecretsBackend 与 VaultBackend 一致 (#7753)
2a54512d7 2020-03-17 [AIRFLOW-5705] 修复 AWS SSM Secrets Backend 中的错误 (#7745)
a8b5fc74d 2020-03-16 [AIRFLOW-4175] S3Hook load_file 应支持 ACL 策略参数 (#7733)
e31e9ddd2 2020-03-14 [AIRFLOW-5705] 添加 secrets 后端和 AWS SSM 支持 (#6376)
3bb60afc7 2020-03-13 [AIRFLOW-6975] Base AWSHook AssumeRoleWithSAML (#7619)
c0c5f11ad 2020-03-12 [AIRFLOW-6884] 使 SageMakerTrainingOperator 幂等 (#7598)
b7cdda1c6 2020-03-10 [AIRFLOW-4438] 向 S3_hook 添加 Gzip 压缩 (#7680)
42eef3821 2020-03-07 [AIRFLOW-6877] 添加跨提供程序依赖项作为 extras (#7506)
9a94ab246 2020-03-01 [AIRFLOW-6962] 修复 compeleted to completed (#7600)
1b38f6d9b 2020-02-29 [AIRFLOW-5908] 将download_file添加到S3 Hook (#6577)
3ea3e1a2b 2020-02-26 [AIRFLOW-6824] EMRAddStepsOperator在多步XCom中的问题 (#7443)
6eaa7e3b1 2020-02-25 [AIRFLOW-5924] 在S3Hook中自动统一桶名称和键 (#6574)
3320e432a 2020-02-24 [AIRFLOW-6817] 懒加载airflow.DAG以保持用户API不变 (#7517)
7d0e7122d 2020-02-24 [AIRFLOW-6830] 将主题/消息属性添加到SNS钩子和操作符 (#7451)
4d03e33c1 2020-02-22 [AIRFLOW-6817] 从airflow/__init__.py中移除导入，将隐式导入替换为显式导入，并在UPDATING.MD中添加条目 - 挤压/变基 (#7456)
47a922b86 2020-02-21 [AIRFLOW-6854] 修复python 3.8中缺少typing_extensions的问题 (#7474)
9cbd7de6d 2020-02-18 [AIRFLOW-6792] 从提供商包中移除_operator/_hook/_sensor并添加测试 (#7412)
58c3542ed 2020-02-12 [AIRFLOW-5231] 修复S3Hook.delete_objects方法 (#7375)
b7aa778b3 2020-02-10 [AIRFLOW-6767] 修正默认Athena工作组的名称 (#7394)
9282185e6 2020-02-09 [AIRFLOW-6761] 修复AWSAthenaHook中的WorkGroup参数 (#7386)
94fccca97 2020-02-04 [AIRFLOW-XXXX] 添加UTF-8文件编码的预提交检查 (#7347)
f3ad5cf61 2020-02-03 [AIRFLOW-4681] 使传感器模块与pylint兼容 (#7309)
88e40c714 2020-02-03 [AIRFLOW-6716] 修复AWS Datasync示例DAG (#7339)
a311d3d82 2020-02-03 [AIRFLOW-6718] 修复utils.dates.days_ago的更多出现 (#7341)
cb766b05b 2020-02-03 [AIRFLOW-XXXX] 修复CI上的静态检查 (#7342)
97a429f9d 2020-02-02 [AIRFLOW-6714] 移除UTF-8的魔法注释 (#7338)
7527eddc5 2020-02-02 [AIRFLOW-4364] 使airflow/providers/amazon中的所有代码与pylint兼容 (#7336)
cf141506a 2020-02-02 [AIRFLOW-6708] 设置唯一的记录器名称 (#7330)
63aa3db88 2020-02-02 [AIRFLOW-6258] 将CloudFormation操作符添加到AWS提供商 (#6824)
af4157fde 2020-02-02 [AIRFLOW-6672] AWS DataSync - 更好地记录错误消息 (#7288)
373c6aa4a 2020-01-30 [AIRFLOW-6682] 将GCP类移动到提供商包 (#7295)
83c037873 2020-01-30 [AIRFLOW-6674] 根据AIP-21移动example_dags (#7287)
1988a97e8 2020-01-28 [AIRFLOW-6659] 将AWS传输操作符移动到提供商包 (#7274)
ab10443e9 2020-01-28 [AIRFLOW-6424] 添加一个操作符来修改EMR集群 (#7213)
40246132a 2020-01-28 [AIRFLOW-6654] AWS DataSync - 创建位置时的错误修复 (#7270)
82c0e5aff 2020-01-28 [AIRFLOW-6655] 将AWS类移动到提供商 (#7271)
599e4791c 2020-01-18 [AIRFLOW-6541] 使用EmrJobFlowSensor处理其他状态 (#7146)
c319e81ca 2020-01-17 [AIRFLOW-6572] 将AWS类移动到providers.amazon.aws包 (#7178)
941a07057 2020-01-15 [AIRFLOW-6570] 为所有示例DAG添加dag标签 (#7176)
78d8fe694 2020-01-08 [AIRFLOW-6245] 添加AWS批处理作业的自定义等待器 (#6811)
e0b022725 2019-12-28 [AIRFLOW-6319] 添加对AWS Athena工作组的支持 (#6871)
57da45685 2019-12-24 [AIRFLOW-6333] 将Pylint升级到2.4.4并修复/禁用新的检查 (#6888)
cf647c27e 2019-12-18 [AIRFLOW-6038] AWS DataSync重构 (#6773)
7502cad28 2019-12-17 [AIRFLOW-6206] 根据AIP-21移动和重命名AWS批处理操作符 (#6764)
c4c635df6 2019-12-17 [AIRFLOW-6083] 添加将自定义配置传递给lambda客户端的能力. (#6678)
4fb498f87 2019-12-09 [AIRFLOW-6072] aws_hook: 出站http代理设置和其他增强 (#6686)
a1e2f8635 2019-11-20 [AIRFLOW-6021] 用列表构造函数替换列表字面量 (#6617)
baae14084 2019-11-19 [AIRFLOW-5781] AIP-21将AWS Kinesis迁移到/providers/amazon/aws (#6588)
504cfbac1 2019-11-18 [AIRFLOW-5783] AIP-21将aws redshift移动到提供商结构 (#6539)
992f0e3ac 2019-11-12 AIRFLOW-5824: 添加AWS DataSync Hook和操作符 (#6512)
c015eb2f6 2019-11-10 [AIRFLOW-5786] 将AWS SNS迁移到/providers/amazon/aws (#6502)
3d76fb4bf 2019-11-09 [AIRFLOW-5782] 将AWS Lambda迁移到/providers/amazon/aws [AIP-21] (#6518)

项目详情

验证详情

这些详情已经通过PyPI 验证
维护者
ashb的gravatar.com头像 ashb kaxil的gravatar.com头像 kaxil potiuk的gravatar.com头像 potiuk

未验证详情

这些详情尚未通过PyPI验证
项目链接
元数据
  • 许可证： Apache软件许可证 (Apache许可证2.0)
  • 作者： Apache软件基金会
  • 需求： Python ~=3.6
分类

发布历史 发布通知 | RSS源

本版本

2021.3.3

2021.3.3rc1 预发布

2021.2.5

2021.2.5rc1 预发布

2020.11.23

2020.11.23rc1 预发布

2020.10.29 已撤回

此次发布被撤回的原因

该软件包包含其他软件包数据。

2020.10.29rc1 预发布

2020.10.5

2020.10.5rc1 预发布

2020.6.24

2020.6.24rc1 预发布

2020.5.20rc3 预发布

2020.5.20rc2 预发布

2020.5.20rc1 预发布

下载文件

下载适用于您平台文件的文件。如果您不确定选择哪一个，请了解更多关于 安装软件包 的信息。

源分布

apache-airflow-backport-providers-amazon-2021.3.3.tar.gz (196.1 kB 查看哈希值)

上传时间 源

构建分布

apache_airflow_backport_providers_amazon-2021.3.3-py3-none-any.whl (254.0 kB 查看哈希值)

上传时间 Python 3

支持者：