gpt4 book ai didi

amazon-web-services - 从HDFS将数据写入Kinesis流

转载 作者:行者123 更新时间:2023-12-02 20:49:44 25 4
gpt4 key购买 nike

我需要将数据从hdfs写入kinesis流以进行进一步的计算。有人可以指导我如何将hdfs中的数据放入kinesis流。
例如,我在hdfs上有 Parquet 格式数据。我现在想将数据放入运动学流。以及如何控制运动学所允许的极限。

谢谢。

最佳答案

从HDFS到kafka / Kinesis的数据流是一个中等普遍的问题。一种常见的方法是在HDFS和Kafka之间使用Apache Flume。您需要将Kafka设置为目标,将HDFS设置为源。

Flume适用于Kinesis。检查this。这使Kinesis成为
源或汇。

关于amazon-web-services - 从HDFS将数据写入Kinesis流,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46379518/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com