java - 通过字符串反序列化解析kafka protobuf事件

Question

我在 kafka 上接收 protobuf 消息，消费者配置为使用

反序列化事件

value.deserializer = org.apache.kafka.common.serialization.StringDeserializer

如果我通过传递反序列化事件字符串的字节数组来使用 com.google.protobuf.Parser 的 parseFrom(byte[] data) 方法，该方法会抛出以下内容异常:

com.google.protobuf.InvalidProtocolBufferException: While parsing a protocol message, the input ended unexpectedly in the middle of a field.  This could mean either than the input has been truncated or that an embedded message misreported its own length.

如果我改为反序列化 kafka 事件

value.deserializer = org.apache.kafka.common.serialization.ByteArrayDeserializer

并将接收到的字节数组直接传给parseFrom，protobuf被正确解析，没有任何异常。

为什么第二种方式可以，而第一种方式不行？

Answer 1

您正在使用字符串反序列化器，它需要某些特殊字符来定义消息的限制。它试图反序列化一个字符串，但他只收到一堆字节，其格式是消费者根本不期望的。

您有一个使用 ByteArraySerializer 进行序列化的生产者，因此您的消费者必须使用 ByteArrayDeserializer 对其进行反序列化。

如果您真的想以字符串格式自动反序列化，请尝试使用 org.apache.kafka.common.serialization.StringSerializer 进行生成。