hive - 带有Hive 1.1(CDH 5.7.1)的Apache NiFi Hive处理器

Question

我使用Cloudera Manager CDH 5.7.1，它仅支持Hive 1.1.0。
NiFi 1.0.0-BETA使用Hive 1.2.1。

当我尝试使用SelectHiveQL处理器时，出现以下错误：Required field 'client_protocol' is unset!，这意味着Hive客户端和服务器之间存在版本不匹配。

有解决这个问题的建议吗？

我曾考虑使用hive-jdbc依赖版本1.1.0而不是默认的1.2.1构建NiFi，但我希望有更好的解决方案。

Answer 1

由于NiFi是一个Apache项目，因此它使用Apache JAR（例如Hive和Hadoop）进行构建。但是，您可以使用特定于供应商的配置文件和构建属性来为特定的Hadoop发行版构建NiFi。

例如，您可以尝试以下操作来为CDH 5.7.1构建NiFi发行版：

mvn clean install -DskipTests -Pcloudera -Dhadoop.version=2.6.0-cdh5.7.1 -Dhive.version=1.1.0-cdh5.7.1 -Dhbase.version=1.2.0-cdh5.7.1

Hive处理器使用NiFi Hadoop库NAR提供的Hadoop库，而其他NAR（如Hadoop / HDFS处理器）也使用相同的NAR库，因此最好的方法是构建整体。否则，您可以尝试仅替换与Hadoop / Hive / HBase相关的NAR，然后查看是否可行。