Kafka 管理工具
项目描述
Kafka-Utils
Kafka 集群交互和管理的一套 Python 工具。Kafka-Utils 在 python 3.7+ 上运行。
配置
Kafka-Utils 从 yaml 文件中读取访问 Kafka 集群所需的集群配置。每个集群通过 类型 和 名称 来标识。同一类型的多个集群应列在同一个 type.yaml 文件中。yaml 文件从 $KAFKA_DISCOVERY_DIR、$HOME/.kafka_discovery 和 /etc/kafka_discovery 中读取，前者覆盖后者。
在 /etc/kafka_discovery/sample_type.yaml 中为 sample_type 集群提供的示例配置
---
clusters:
cluster-1:
broker_list:
- "cluster-elb-1:9092"
zookeeper: "11.11.11.111:2181,11.11.11.112:2181,11.11.11.113:2181/kafka-1"
cluster-2:
broker_list:
- "cluster-elb-2:9092"
zookeeper: "11.11.11.211:2181,11.11.11.212:2181,11.11.11.213:2181/kafka-2"
local_config:
cluster: cluster-1
安装
从 PyPI
$ pip install kafka-utils
Kafka-Utils 命令行界面
列出所有集群
$ kafka-utils
cluster-type sample_type:
cluster-name: cluster-1
broker-list: cluster-elb-1:9092
zookeeper: 11.11.11.111:2181,11.11.11.112:2181,11.11.11.113:2181/kafka-1
cluster-name: cluster-2
broker-list: cluster-elb-2:9092
zookeeper: 11.11.11.211:2181,11.11.11.212:2181,11.11.11.213:2181/kafka-2
获取消费者偏移量
$ kafka-consumer-manager --cluster-type sample_type offset_get sample_consumer
获取消费者水印
$ kafka-consumer-manager --cluster-type sample_type get_topic_watermark sample.topic
重平衡类型为 sample_cluster 的集群 cluster1
$ kafka-cluster-manager --cluster-type sample_type --cluster-name cluster1
--apply rebalance --brokers --leaders --max-partition-movements 10
--max-leader-changes 15
集群滚动重启
$ kafka-rolling-restart --cluster-type sample_type
检查同步副本
$ kafka-check --cluster-type sample_type min_isr
检查不可用副本数量
$ kafka-check --cluster-type sample_type replica_unavailability
文档
请在 Read the Docs 阅读文档。
许可证
Kafka-Utils 采用 Apache License 2.0 许可： https://apache.ac.cn/licenses/LICENSE-2.0
贡献
鼓励每个人通过 Github 仓库 分支并提交拉取请求或提出问题来为 Kafka-Utils 贡献。
下载文件
下载适用于您的平台的文件。如果您不确定选择哪个，请了解有关 安装包 的更多信息。
源代码发行版
kafka-utils-4.1.0.tar.gz (106.6 kB 查看哈希值)
构建发行版
kafka_utils-4.1.0-py3-none-any.whl (171.0 kB 查看哈希值)
关闭
kafka-utils-4.1.0.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | bd74de6cf5c48740a9bd3899a9de1b41ffd6a8e06963f7fccf9d52b1d62e1f17 |
|
| MD5 | 3d679e8521afb95bf47979f71bcea28f |
|
| BLAKE2b-256 | 96cd7db60eb657771b79673e4bc6ad9882fedf8a0604134ef91838b7a6e463b9 |
关闭
kafka_utils-4.1.0-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 3cf918f13991d9ff2d87cf7922f22642508317dcc1e93f52cbc22c282a18368b |
|
| MD5 | a58fea6a86f8a0e5370f4967c79cc5ea |
|
| BLAKE2b-256 | 458d1bf742cfdd52ca0e91dfe074dca91beb13d12e1535b42206ad1fde02a389 |
