跳转到主要内容

Humilis kinesis流处理器插件

项目描述

Kinesis事件流处理器

Build Status PyPI

一个humilis插件,用于部署一个使用Python可调用列表映射Kinesis事件流中的事件的Lambda函数。

安装

pip install humilis-kinesis-processor

开发

假设您已安装virtualenv

make develop

配置humilis

.env/bin/humilis configure --local

测试

单元测试

要运行本地测试套件

make test

集成测试

在运行集成测试套件之前,您需要使用以下命令设置一些部署密钥

s3keyring set [group]/[STAGE] [key] [secret]

在组humilis-kinesis-processor中,需要设置以下密钥

默认情况下,集成测试将在名为DEV的阶段部署,因此设置Sentry DSN的命令是

s3keyring set humilis-kinesis-processor:DEV sentry.dsn [SENTRYDSN]

要运行集成测试套件

make testi

上述命令将在您的AWS账户中部署Kinesis处理器,并创建测试部署成功所需的附加资源(如几个Kinesis流)。部署后,将运行集成测试,测试完成后将销毁测试环境。

如果您不想在测试完成后销毁测试环境,则应运行

make testi DESTROY=no

您还可以通过设置STAGE环境变量来修改部署阶段名称。例如,要将部署到TEST阶段

make testi STAGE=TEST

更多信息

请参阅humilis文档。

联系方式

如果您有任何问题、错误报告、建议等,请在GitHub项目页面创建一个问题。

许可证

本软件根据MIT许可证授权。

查看许可证文件

© 2016 Anatoly Bubenkov, German Gomez-Herrero, FindHotel及他人。

作者

Anatoly Bubenkov

初始想法和第一个alpha版本实现

German Gomez-Herrero

实际实现和进一步开发

变更日志

0.9.7

  • 支持Lambda环境变量

0.9.6

  • 如果Kinesis有效负载不是JSON对象,则不要静默异常

0.9.5

  • 支持交付流过滤器和映射器

0.9.0

  • 改进处理错误的调试

0.8.9

  • 向未能处理的事件添加错误注释

0.8.6

  • 错误处理逻辑中的错误修复。

0.8.5

  • 更好的错误处理。

0.7.7

  • 支持输入、错误和输出(多个)的多个交付流

0.7.6

  • 支持一对一映射器

0.7.5

  • 用户还可以通过名称指定输入/输出/错误流,而不是作为另一层输出的引用。

0.6.8

  • 为humilis环境/层/阶段设置环境变量

0.4.0

  • 主要错误修复:向交付流中插入记录的权限

0.3.0

  • 主要错误修复:允许写入DynamoDB的状态

0.2.0

  • 包成为通用的map-multiplex-map处理器(germangh)

0.1.1

  • 清理包数据(bubenkoff)

0.1.0

  • 主要重构以简化并清理代码(germangh)

0.0.1

  • 初始发布(bubenkoff)

项目详情


发布历史 发布通知 | RSS源

下载文件

下载适用于您平台的文件。如果您不确定选择哪个,请了解更多关于安装包的信息。

源分布

humilis-kinesis-processor-1.3.7.tar.gz (14.2 kB 查看散列)

上传时间

由以下机构支持

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误日志 StatusPage StatusPage 状态页面