跳转到主要内容

Arroyo是一个用于处理流数据的Python库。

项目描述

Arroyo

Arroyo是一个用于构建从Kafka消费并生成流应用的库。

Arroyo由三个组件组成

  • 消费者和生成器后端
    • Kafka后端是对librdkafka客户端的包装,并尝试进一步简化重均衡和偏移量管理
    • 还有一个内存和基于文件的消费者和生成器实现,可用于测试
  • 策略接口
    • Arroyo包括许多预构建策略,如RunTaskFilterReduceCommitOffsets等。
    • 用户可以编写自己的策略,尽管在大多数情况下不需要这样做,因为库旨在提供通用、可重用的策略,以覆盖大多数流处理用例
    • 策略可以连接在一起形成复杂的信息处理管道。
  • 流式引擎,管理消费者和策略之间的关系
    • StreamProcessor通过消费者控制进度,并安排工作由策略执行。

所有文档都在docs目录中。它托管在https://getsentry.github.io/arroyo/,可以通过运行make docs本地构建

项目详情


版本历史 发布通知 | RSS源

下载文件

下载适合您平台的文件。如果您不确定选择哪个,请了解有关安装包的更多信息。

源分布

sentry_arroyo-2.18.0.tar.gz (79.1 kB 查看哈希值)

上传时间

构建分布

sentry_arroyo-2.18.0-py3-none-any.whl (106.1 kB 查看哈希值)

上传时间 Python 3

支持者

AWS AWS 云计算和安全赞助商 Datadog Datadog 监控 Fastly Fastly CDN Google Google 下载分析 Microsoft Microsoft PSF 赞助商 Pingdom Pingdom 监控 Sentry Sentry 错误记录 StatusPage StatusPage 状态页面