gpt4 book ai didi

hadoop - 在 Apache Nifi 上运行多个 hive sql

转载 作者:可可西里 更新时间:2023-11-01 16:39:14 24 4
gpt4 key购买 nike

我有一个 Apache Nifi 1.2 工作流,它从 hdfs 进程中读取一些东西并将信息写入历史表。之后我想运行 3 个配置单元查询以基于历史表创建一个新表。为什么在 Nifi 上做起来这么难?我没有找到任何使用 putSQL 或 SelectHiveQL 的简单方法。我不想使用 ExecuteStreamedCommand,因为我想保留 nifi 库。

有什么帮助吗?谢谢

最佳答案

使用包含您要运行的第一个 hql 的 GenerateFlowFile。将它连接到 PutHiveQL,后者连接到 ReplaceText。

在 ReplaceText 中,用第二个 hql 替换现有内容,然后连接到另一个 PutHiveQL。等等....

这很烦人,但如果你只有 3 个 hqls,它就可以工作。

更新:更好的方法是使用 GenerateFlowFile。把你的整个脚本放在那里。将其连接到 SplitContent 并按分号 (;) 拆分,然后将其发送到 PutHiveQL。

关于hadoop - 在 Apache Nifi 上运行多个 hive sql,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45033638/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com