gpt4 book ai didi

hadoop - 根据 Kafka 的消息数据写入自定义 HDFS 目录 -> Flume -> hdfs 摄取

转载 作者:可可西里 更新时间:2023-11-01 15:30:23 29 4
gpt4 key购买 nike

如何根据 Kafka 消息中的消息类型使用水槽写入自定义 hdfs 目录?

说 kafka 消息:{"type": "A", "data": "blah"} 在类型字段中有 "A"应该写入 /data/A, message: {"type": "B", "data": "blah"} 在类型字段中有 "B"应该写入 /data/B

最佳答案

我认为您需要自定义水槽。 Apache Flume custom sink

关于hadoop - 根据 Kafka 的消息数据写入自定义 HDFS 目录 -> Flume -> hdfs 摄取,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34505525/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com