Kafka与asyncio的集成
项目描述
asyncio客户端用于Kafka
AIOKafkaProducer
AIOKafkaProducer是一个高级、异步的消息生产者。
AIOKafkaProducer使用示例
from aiokafka import AIOKafkaProducer
import asyncio
async def send_one():
producer = AIOKafkaProducer(bootstrap_servers='localhost:9092')
# Get cluster layout and initial topic/partition leadership information
await producer.start()
try:
# Produce message
await producer.send_and_wait("my_topic", b"Super message")
finally:
# Wait for all pending messages to be delivered or expire.
await producer.stop()
asyncio.run(send_one())
AIOKafkaConsumer
AIOKafkaConsumer 是一个高级、异步的消息消费者。它与分配的 Kafka 群组协调器节点交互,允许多个消费者均衡地消费主题(需要 kafka >= 0.9.0.0)。
AIOKafkaConsumer 使用示例
from aiokafka import AIOKafkaConsumer
import asyncio
async def consume():
consumer = AIOKafkaConsumer(
'my_topic', 'my_other_topic',
bootstrap_servers='localhost:9092',
group_id="my-group")
# Get cluster layout and join group `my-group`
await consumer.start()
try:
# Consume messages
async for msg in consumer:
print("consumed: ", msg.topic, msg.partition, msg.offset,
msg.key, msg.value, msg.timestamp)
finally:
# Will leave consumer group; perform autocommit if enabled.
await consumer.stop()
asyncio.run(consume())
运行测试
运行测试需要 Docker。有关安装说明,请参阅 https://docs.docker.net.cn/engine/installation。请注意,Python 的 lz4 压缩库需要 python-dev 软件包或 Linux 上的 Python 源头文件进行编译。注意:您还需要一个有效的 Java 安装。这是用于生成某些测试的 SSH 密钥的 keytool 工具所需的。
设置测试需求(假设您在 Ubuntu 14.04+ 上的虚拟环境中)
sudo apt-get install -y libkrb5-dev krb5-user make setup
带有覆盖率的运行测试
make cov
要使用特定版本的 Kafka 运行测试(默认版本为 2.8.1),请使用 KAFKA_VERSION 变量
make cov SCALA_VERSION=2.11 KAFKA_VERSION=0.10.2.1
测试运行快捷方式
make test FLAGS="-l -x --ff" - 运行直到 1 个失败,首先重新运行失败的测试。非常适合清理大量错误,例如在大型重构之后。
make test FLAGS="-k consumer" - 仅运行消费者测试。
make test FLAGS="-m 'not ssl'" - 运行排除 ssl 的测试。
make test FLAGS="--no-pull" - 在测试运行之前不尝试拉取新的 Docker 镜像。
项目详情
下载文件
下载适合您平台版本的文件。如果您不确定选择哪个,请了解有关 安装软件包 的更多信息。
源分布
构建分布
aiokafka-0.11.0.tar.gz 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | f2def07fe1720c4fe37c0309e355afa9ff4a28e0aabfe847be0692461ac69352 |
|
MD5 | ecba9ee2e2420b3f46b654f3d83ac665 |
|
BLAKE2b-256 | bc1c654b955dcca965003f04703caea15a826be0b60bb4c3d064cbd6565c31a1 |
aiokafka-0.11.0-cp312-cp312-win_amd64.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 9a478a14fd23fd1ffe9c7a21238d818b5f5e0626f7f06146b687f3699298391b |
|
MD5 | 4c2ab862ebc519b5412c7dc7f80959ed |
|
BLAKE2b-256 | 5594f532c5789cdef414bb185ac9a62c30a817fd6eae5364339a90d317166bca |
aiokafka-0.11.0-cp312-cp312-win32.whl 的哈希值
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 8ba981956243767b37c929845c398fda2a2e35a4034d218badbe2b62e6f98f96 |
|
MD5 | b808c494160477266001c05318c6d913 |
|
BLAKE2b-256 | 550081c805688d5aa286be1ab57ed30fe665ebec74ad2305fa9aa2b29018e140 |
哈希值 用于 aiokafka-0.11.0-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 3711fa64ee8640dcd4cb640f1030f9439d02e85acd57010d09053017092d8cc2 |
|
MD5 | 6607d9d42cdd8f666a863a5a13d28f6a |
|
BLAKE2b-256 | f4a9746f0c73f65f6d339d87873d6475ebff77ed52a50ecefa5b21917da1bd1c |
哈希值 用于 aiokafka-0.11.0-cp312-cp312-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 55a07a39d82c595223a17015ea738d152544cee979d3d6d822707a082465621c |
|
MD5 | 45f1708936ddb4884a8e68dd74c719cc |
|
BLAKE2b-256 | 17b09498ac74ccd9286e9a750dcd6bf1601bf7d9d8f4b397dc830be0ba49c727 |
哈希值 用于 aiokafka-0.11.0-cp312-cp312-manylinux_2_5_i686.manylinux1_i686.manylinux_2_17_i686.manylinux2014_i686.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 818a6f8e44b02113b9e795bee6029c8a4e525ab38f29d7adb0201f3fec74c808 |
|
MD5 | 62a2c9439dfaac8d8108f79a7c4cfa8f |
|
BLAKE2b-256 | 6fe8105a1ef62b091b1fa7d5f236668140c776736dc87da66d8bc1aa26d4f84d |
哈希值 用于 aiokafka-0.11.0-cp312-cp312-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 4e0cc080a7f4c659ee4e1baa1c32adedcccb105a52156d4909f357d76fac0dc1 |
|
MD5 | ee0b4954d897182b0d1104dc4460c189 |
|
BLAKE2b-256 | 9e6e8960d924b66931344b85a6043c189094738d3a8b38f649c01af9fe2e5398 |
哈希值 用于 aiokafka-0.11.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 6ef3e7c8a923e502caa4d24041f2be778fd7f9ee4587bf0bcb4f74cac05122fa |
|
MD5 | 2595033fb8649ce66f941918708806de |
|
BLAKE2b-256 | 5c25a987c2a132deb742b21815a51bec5e244135ac59cefef16accbe861963c4 |
哈希值 用于 aiokafka-0.11.0-cp311-cp311-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 224db2447f6c1024198d8342e7099198f90401e2fa29c0762afbc51eadf5c490 |
|
MD5 | c0a1b678dfae5f1db2d2690c2192d3de |
|
BLAKE2b-256 | b7cd349fd91c2d30b79d2cd9c7f7aa565069e1e59b8431da20dd07e35a0a5908 |
哈希值 用于 aiokafka-0.11.0-cp311-cp311-manylinux_2_5_i686.manylinux1_i686.manylinux_2_17_i686.manylinux2014_i686.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 59f4b935589ebb244620afad8bf3320e3bc86879a8b1c692ad06bd324f6c6127 |
|
MD5 | f836e97a19cab5df458ba366d35b4d7c |
|
BLAKE2b-256 | bcea00511d3d7d5508ac6076b69a7566284fba560ffb966b7daf6391d9783603 |
哈希值 用于 aiokafka-0.11.0-cp311-cp311-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0e957b42ae959365efbb45c9b5de38032c573608553c3670ad8695cc210abec9 |
|
MD5 | 86adc72b95b7fff737bd0542d80adcc2 |
|
BLAKE2b-256 | c306a4f9e4b0142bef2f38f5209bf54db219724c1a999155b03b17305923bea5 |
哈希值 for aiokafka-0.11.0-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 516e1d68d9a377860b2e17453580afe304605bc71894f684d3e7b6618f6f939f |
|
MD5 | e64295f8a9f7a03c8c2058994efc678a |
|
BLAKE2b-256 | 9607c260fd905435175da6634646a02fcb8ddfe89a755b5c75c9046d14afd526 |
哈希值 for aiokafka-0.11.0-cp310-cp310-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 38e1917e706c1158d5e1f612d1fc1b40f706dc46c534e73ab4de8ae2868a31be |
|
MD5 | 6dd96b2b8882145e79bfc3088b84178d |
|
BLAKE2b-256 | b4ffae8146b6b91536a84bd58806480e50968033c7850d7b4c6fbc3eec103fb0 |
哈希值 for aiokafka-0.11.0-cp310-cp310-manylinux_2_5_i686.manylinux1_i686.manylinux_2_17_i686.manylinux2014_i686.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | acfd0a5d0aec762ba73eeab73b23edce14f315793f063b6a4b223b6f79e36bb8 |
|
MD5 | a83b5e0730186a9dcd18d92cca407fd1 |
|
BLAKE2b-256 | f0d35f8b98406625cc89d5ad2659a0a11d325490e82bc1519aa2f311359aa432 |
哈希值 for aiokafka-0.11.0-cp310-cp310-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 926f93fb6a39891fd4364494432b479c0602f9cac708778d4a262a2c2e20d3b4 |
|
MD5 | 98dba76fcb661cbe456b8d38bd6d76ec |
|
BLAKE2b-256 | 2652740beb52f9cfdd2ca9491f136534a76a6ad4c75a76fd12fdb90dc8da1afd |
哈希值 for aiokafka-0.11.0-cp39-cp39-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | eaafe134de57b184f3c030e1a11051590caff7953c8bf58048eefd8d828e39d7 |
|
MD5 | 63b8990834f81978eb9b3055dc8bc870 |
|
BLAKE2b-256 | f9336683d32e05aa11a65841f146f3e220cd6319618909463c62feed0a7a881f |
哈希值 for aiokafka-0.11.0-cp39-cp39-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | f1c85f66eb3564c5e74d8e4c25df4ac1fd94f1a6f6e66f005aafa6f791bde215 |
|
MD5 | 95dc575c0a724c30213d18f42d6c695e |
|
BLAKE2b-256 | 201420ea593481a8fe5d5d386f95bde74badef76fb3392d06c288473efb9e169 |
哈希值 for aiokafka-0.11.0-cp39-cp39-manylinux_2_5_i686.manylinux1_i686.manylinux_2_17_i686.manylinux2014_i686.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 807f699cf916369b1a512e4f2eaec714398c202d8803328ef8711967d99a56ce |
|
MD5 | 1da2befaf34898392db36c62d2aaf47c |
|
BLAKE2b-256 | fc08c9e0ae9b1a01932e27dbb9bf62cc26e1057ed132fcd52a99886aa8d151f0 |
哈希值 for aiokafka-0.11.0-cp39-cp39-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 419dd28c8ed6e926061bdc60929af08a6b52f1721e1179d9d21cc72ae28fd6f6 |
|
MD5 | 0132fb5de5fb6271ea1e1b3fc682bd09 |
|
BLAKE2b-256 | 9468b5324296c60bae768c3b8e5638636df0179cd53205ec4ebdcedfce8ef472 |
哈希值 for aiokafka-0.11.0-cp38-cp38-manylinux_2_17_x86_64.manylinux2014_x86_64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 230170ce2e8a0eb852e2e8b78b08ce2e29b77dfe2c51bd56f5ab4be0f332a63b |
|
MD5 | 048ecff687e8b24dc019db2cabb8ceff |
|
BLAKE2b-256 | 4e191f781d5616b54cb8d8c7e80953a6daa2e3cf6f3ed27903c8815362d8a978 |
哈希值 for aiokafka-0.11.0-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | ee0c61a2dcabbe4474ff237d708f9bd663dd2317e03a9cb7239a212c9ee05b12 |
|
MD5 | b9fe921baadae3b78121cf36bb9ae857 |
|
BLAKE2b-256 | d9576d5e77fdc655fefddd36eaf2dde5cd39deb5a56e4ac9a8f3d207a196b535 |
哈希值 for aiokafka-0.11.0-cp38-cp38-manylinux_2_5_i686.manylinux1_i686.manylinux_2_17_i686.manylinux2014_i686.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | eac78a009b713e28b5b4c4daae9d062acbf2b7980e5734467643a810134583b5 |
|
MD5 | d81580050cade796c4c69d4a1e5b0675 |
|
BLAKE2b-256 | a44b27e5462378e202d443d26e240de1cd8a3e6a930a103c9e5912fc536e5726 |
哈希值 for aiokafka-0.11.0-cp38-cp38-macosx_11_0_arm64.whl
算法 | 哈希摘要 | |
---|---|---|
SHA256 | 0973a245b8b9daf8ef6814253a80a700f1f54d2da7d88f6fe479f46e0fd83053 |
|
MD5 | bd507f1218c91d1ce56db809a542755f |
|
BLAKE2b-256 | baaad1cc19ba3b26acc4727ec41267939cdf2db4e9519c87b2e3aec08a4a191b |