python - 无法使用 python-kafka 消费消息

Question

我试图复制 blog 中给出的步骤。在尝试时，给定了 Kafka Consumer 和 Kafka Producer python 代码，我能够在 python 交互式终端中运行代码，并且消费者控制台能够给出输出，但是如果我将它们传递到 python 文件 (*.py) 中，它不消耗任何内容。

消费者

from kafka import KafkaConsumer
consumer = KafkaConsumer('sample')
for message in consumer:
    print (message)

制作人

from kafka import KafkaProducer
producer = KafkaProducer(bootstrap_servers='localhost:9092')
producer.send('sample', b'Hello, World!')
producer.send('sample', key=b'message-two', value=b'This is Kafka-Python')

如何让它在 python 文件中工作？

Answer 1

I just added producer.flush() to the producer code, and it started to work.

因为 Kafka 客户端批量发送消息，而不是立即发送，以减少代理的负载。

您最初没有发送足够的数据来自行发生刷新，因此当您的应用程序结束时，您的数据只是保留在内存中。

引用batch.size生产者属性