hadoop - CDH Hadoop 中 json Serde JAR 与 Hive/Hue/MapReduce 一起使用的最佳位置

Question

我正在使用 Hive/Hue/MapReduce 和 json Serde。为了让它工作，我将 json_serde.jar 复制到每个集群节点上的几个 lib 目录:

• /opt/cloudera/parcels/CDH/lib/hive/lib
• /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/lib
• /opt/cloudera/parcels/CDH/lib/hadoop/lib
• /opt/cloudera/parcels/CDH/lib/hadoop-0.20-mapreduce/lib
• ...

在集群的每次 CDH 更新中，我都必须再次执行此操作。是否有更优雅的方式Serde 在集群中的分布 是自动的并且抵抗更新？

Answer 1

如果使用 HiveServer2(Cloudera 5.0+ 中的默认设置)，则以下配置将适用于整个集群，而无需将 jar 复制到每个节点。

在您的 hive-site.xml 配置文件中，或者如果您在“hive-site.xml 的 HiveServer2 高级配置片段(安全阀)”中使用 Cloudera Manager”配置框

<property>
 <name>hive.aux.jars.path</name>
 <value>/user/hive/aux_jars/hive-serdes-1.0-snapshot.jar</value>
</property>

然后在您的 HDFS 文件系统 (/user/hive/aux_jars) 中创建目录并将 jar 文件放入其中。如果您正在运行 HUE，则可以通过 Web UI 执行此部分操作，只需单击右上角的文件浏览器。