gpt4 book ai didi

apache-kafka - Kafka Connect HDFS 接收器问题

转载 作者:行者123 更新时间:2023-12-03 09:28:58 26 4
gpt4 key购买 nike

我正在尝试使用带有 HDFS 接收器连接器的 Kafka-Connect 来传输数据。 Standalone 和 Distributed 模式都运行良好,但它只写入 HDFS 一次(基于 flush-size)并且以后不会流式传输。如果我遗漏了什么,请帮忙。

Confluent 2.0.0 & Kafka 0.9.0

最佳答案

我很久以前就遇到过这个问题。只需检查下面的参数是否丢失

Connect-hdfs-sink 属性

"logs.dir":"/hdfs_directory/data/log"

"request.timeout.ms":"310000"

"offset.flush.interval.ms":"5000"

"heartbeat.interval.ms":"60000"

"session.timeout.ms":"300000

"max.poll.records":"100"

关于apache-kafka - Kafka Connect HDFS 接收器问题,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39042855/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com