apache-kafka - 在kafka主题中将多个行文本作为一条消息推送

Question

我想将包含多行的文本作为一条消息推送到kafka主题中。

输入后:

kafka-console-producer --broker-list localhost:9092 --topic myTopic

并复制我的文字:

My Text consists of:
two lines instead of one

我在kafka主题中收到两条消息，但我只想收到一条。有什么想法要实现吗？谢谢

Answer 1

您可以为此使用 kafkacat 及其-D运算符来指定自定义消息定界符(在本示例中为/):

kafkacat -b kafka:29092 \
        -t test_topic_01 \
        -D/ \
        -P <<EOF
this is a string message 
with a line break/this is 
another message with two 
line breaks!
EOF

请注意，分隔符 必须为单个字节-多字节字符最终将被包含在结果消息 See issue #140中

产生的消息，也使用kafkacat进行了检查:

$ kafkacat -b kafka:29092 -C \
         -f '\nKey (%K bytes): %k\t\nValue (%S bytes): %s\n\Partition: %p\tOffset: %o\n--\n' \
         -t test_topic_01

Key (-1 bytes):
Value (43 bytes): this is a string message
with a line break
Partition: 0    Offset: 0
--

Key (-1 bytes):
Value (48 bytes): this is
another message with two
line breaks!

Partition: 0    Offset: 1
--
% Reached end of topic test_topic_01 [0] at offset 2

使用 kafka-console-consumer检查:

$ kafka-console-consumer \
    --bootstrap-server kafka:29092 \
    --topic test_topic_01 \
    --from-beginning

this is a string message
with a line break
this is
another message with two
line breaks!

(因此说明了 kafkacat为什么比 kafka-console-consumer更好用，因为它具有可选的冗长性:))