gpt4 book ai didi

hadoop - Kafka 主题与 Kafka Connect to HDFS 合并

转载 作者:可可西里 更新时间:2023-11-01 15:04:43 27 4
gpt4 key购买 nike

是否可以配置 Kafka Connect 的 HDFS 连接器以将多个单独的主题写入/合并到一个文件中?

主题将包含具有相同 avro 架构的消息,我希望 KafkaConnect 充当这些 Kafka 主题和 HDFS 之间的中介。最坏的情况是主题内容在写入 HDFS 后可能会合并,但我觉得使用 HDFS 连接器应该可以实现更简洁、更快速的方法。

最佳答案

现在 HDFS 连接器会将每个主题写入其自己的目录。你可以在写完之后在HDFS中组合目录,或者在写到HDFS之前在Kafka中组合topic,但是connector本身是不会做的。

关于hadoop - Kafka 主题与 Kafka Connect to HDFS 合并,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39259606/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com