gpt4 book ai didi

hadoop - 如何使用 apache NiFi 将 csv 或 JSON 文件存储到配置单元?

转载 作者:可可西里 更新时间:2023-11-01 16:01:45 25 4
gpt4 key购买 nike

我注意到nifi中没有可用的处理器可以直接将文件存储到hive中。是否有任何处理器组合可以帮助解决这个问题,或者是否有任何可用的模板可以做到这一点?

谢谢。

最佳答案

在下一个版本的 NiFi (0.7.0) 中,将有一些初始处理器用于与 Hive 交互。其中之一是 PutHiveQL,它可以将带有 Hive QL 语句的流文件作为内容,并使用 Hive JDBC 驱动程序执行它。

csv 或 json 的可能流程是首先将数据解析为构造插入语句所需的值,可能使用 ExtractText 或 EvaluateJsonPath,然后使用 ReplaceText 和表达式语言构造插入语句。

没有 Hive 处理器的另一种常见方法是使用 PutHDFS 处理器将数据存储到 HDFS 中的目录,然后在其上创建一个外部 Hive 表。

关于hadoop - 如何使用 apache NiFi 将 csv 或 JSON 文件存储到配置单元?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38275566/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com