Arroyo是一个用于处理流数据的Python库。
项目描述
Arroyo
Arroyo
是一个用于构建从Kafka消费并生成流应用的库。
Arroyo由三个组件组成
- 消费者和生成器后端
- Kafka后端是对librdkafka客户端的包装,并尝试进一步简化重均衡和偏移量管理
- 还有一个内存和基于文件的消费者和生成器实现,可用于测试
- 策略接口
- Arroyo包括许多预构建策略,如
RunTask
、Filter
、Reduce
、CommitOffsets
等。 - 用户可以编写自己的策略,尽管在大多数情况下不需要这样做,因为库旨在提供通用、可重用的策略,以覆盖大多数流处理用例
- 策略可以连接在一起形成复杂的信息处理管道。
- Arroyo包括许多预构建策略,如
- 流式引擎,管理消费者和策略之间的关系
StreamProcessor
通过消费者控制进度,并安排工作由策略执行。
所有文档都在docs
目录中。它托管在https://getsentry.github.io/arroyo/,可以通过运行make docs
本地构建
项目详情
下载文件
下载适合您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。
源分布
sentry_arroyo-2.18.0.tar.gz (79.1 kB 查看哈希值)
构建分布
sentry_arroyo-2.18.0-py3-none-any.whl (106.1 kB 查看哈希值)
关闭
sentry_arroyo-2.18.0.tar.gz的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | f54d37793b3aa2ac459a16f4c0f33a584167f5a86b6ac3a2fe3c793a7d5e20bf |
|
MD5 | 0922156c00a7b2093379693c54265d45 |
|
BLAKE2b-256 | 05513b37c0ed1e6dcbb51abee3346123141db1bc0366b31d2be80fc65f28031d |
关闭
sentry_arroyo-2.18.0-py3-none-any.whl的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | fbb3fd826d72606aa8e99e468c3c41af504a3edef3cbc4b724062ad6a4b3b2eb |
|
MD5 | caefff69e0111b7e12d3278636353f0b |
|
BLAKE2b-256 | c68eaaeedcfa1335b62c5b5f604ba2f382169881b390668a91a6c65a6a2083ac |