gpt4 book ai didi

java - Apache Flink 中从 Kafka header 读取数据的方法

转载 作者:行者123 更新时间:2023-11-30 06:46:26 27 4
gpt4 key购买 nike

我有一个项目,正在使用来自 Kafka 的数据。显然,标题中将包含几个字段,我还需要为每条消息读取这些字段。目前 Flink 有办法做到这一点吗?

谢谢!

最佳答案

@Jicaar,实际上 Kafka 从 0.11.0.0 版本开始添加了 Header 概念。 https://issues.apache.org/jira/browse/KAFKA-4208

问题是flink-connector-kafka-0.11_2.11,它随flink-1.4.0一起提供,并且据说支持kafka-0.11.0.0 从 kafka 读取时只是忽略消息头。

不幸的是,除非您在 flin 中实现自己的 KafkaConsumer,否则无法读取这些 header 。

我也对读取kafka消息头感兴趣,希望Flink团队添加对此的支持。

关于java - Apache Flink 中从 Kafka header 读取数据的方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47558289/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com