hive - 带有 Hive 1.1 (CDH 5.7.1) 的 Apache NiFi Hive 处理器

Question

我使用 Cloudera Manager CDH 5.7.1，它只支持 Hive 1.1.0。NiFi 1.0.0-BETA 使用 Hive 1.2.1。

当我尝试使用 SelectHiveQL 处理器时，出现以下错误:Required field 'client_protocol' is unset!，这意味着 Hive 客户端之间存在版本不匹配和服务器。

有什么解决这个问题的建议吗？

我考虑过使用 hive-jdbc 依赖版本 1.1.0 而不是默认的 1.2.1 构建 NiFi，但我希望有更好的解决方案。

Answer 1

由于 NiFi 是一个 Apache 项目，它使用 Apache JAR(例如 Hive 和 Hadoop)构建。但是，您可以使用特定于供应商的配置文件和构建属性来为特定的 Hadoop 发行版构建 NiFi。

例如，您可以尝试以下方法为 CDH 5.7.1 构建 NiFi 发行版:

mvn clean install -DskipTests -Pcloudera -Dhadoop.version=2.6.0-cdh5.7.1 -Dhive.version=1.1.0-cdh5.7.1 -Dhbase.version=1.2.0-cdh5.7.1

Hive 处理器使用 NiFi Hadoop 库 NAR 提供的 Hadoop 库，而其他 NAR(如 Hadoop/HDFS 处理器)使用相同的库 NAR，因此最好的方法是构建整个东西。否则，您可以尝试仅替换与 Hadoop/Hive/HBase 相关的 NAR，看看是否可行。