file - 如何将文件写入Kafka Producer

Question

我正在尝试加载一个简单的文本文件而不是 Kafka 中的标准输入。下载 Kafka 后，我执行了以下步骤:

启动动物园管理员:

bin/zookeeper-server-start.sh config/zookeeper.properties

启动服务器

bin/kafka-server-start.sh config/server.properties

创建了一个名为“test”的主题:

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

运行生产者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
Test1
Test2

消费者倾听:

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
Test1
Test2

我想将一个数据文件甚至一个简单的文本文件传递给生产者，而不是标准输入，消费者可以直接看到它。任何帮助将不胜感激。谢谢!

Answer 1

您可以通过管道将其输入:

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic
--new-producer < my_file.txt

找到here .

从 0.9.0 开始:

kafka-console-producer.sh --broker-list localhost:9092 --topic my_topic < my_file.txt