gpt4 book ai didi

hadoop - 将边缘设备的平面数据文件导入HDFS并进行处理

转载 作者:行者123 更新时间:2023-12-02 20:52:18 25 4
gpt4 key购买 nike

我有一个用例,车辆上的设备必须将平面二进制文件发送到云服务器,并在它们进入时进行处理并将数据存储到Hbase中。我想知道什么数据摄取框架支持从远程设备上传平面二进制文件,以及需要使用什么数据处理框架来解析这些文件并将数据存储到HBase中。请提出适合我的应用的设计。

最佳答案

看一看https://www.confluent.io/product/connectors/ Confluent平台。您可以通过kafka分发所有数据,如果需要,可以使用kafka流进行处理,并将结果存储到具有kafka连接器的HBase中。

关于hadoop - 将边缘设备的平面数据文件导入HDFS并进行处理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45610975/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com