bluesky-kafka 0.10.0

功能

• BlueskyConsumer

• MongoConsumer

• 发布者

• 远程调度器

测试

安装docker和docker-compose。

启动Kafka服务器

$ cd bluesky-kafka/scripts
$ sudo docker-compose -f bitnami-kafka-docker-compose.yml up

运行测试

$ cd bluesky-kafka
$ pytest

可选地通过指定日志级别将日志输出到控制台

$ pytest --log-cli-level=DEBUG

运行Mongo消费者组

创建conda环境

$ conda create -n consumers python=3.8
$ conda activate consumers

安装包

$ pip install bluesky-kafka supervisor

设置环境变量：mongo_uri参考：https://docs.mongodb.com/manual/reference/connection-string/ bootstrap_servers：代理的逗号分隔列表。

$ export BLUESKY_MONGO_URI="mongodb://username:password@machine1:port1,machine2:port2,machine3:port3
$ export KAFKA_BOOTSTRAP_SERVERS="machine1:9092, machine2:9092, machine3:9092"

将bluesky_kafka/supervisor/supervisord.conf文件的正确路径更新到您的安装中。

启动消费者进程

$ supervisord -c bluesky_kafka/supervisor/supervisord.conf

监控消费者进程

$ supervisorctl -c bluesky_kafka/supervisor/supervisorctl.conf