hadoop - Oozie Hive 操作在 SerDe 上失败

Question

我从 oozie hive 操作工作流中收到错误:

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.HiveMain], 
      main() threw exception, org/apache/hadoop/hive/serde2/SerDe
      java.lang.NoClassDefFoundError: org/apache/hadoop/hive/serde2/SerDe

我正在为我的配置单元表 SerDe 使用 CDH4.2、HUE 2.2 和 JSON-SerDe ( rcongiu-hive-json-serde )。

Hive 查询脚本没有问题，我已在 Hive 控制台中成功运行它。我已经设置了 oozie 共享库。是什么让我非常困惑，在使用默认表(不使用特殊 SerDe)提交配置单元工作流时我没有收到任何错误，但是当我更改为我的 JSON-SerDe 表时它总是失败。 ADD JAR/path-to/serde.jar 也不起作用。

Answer 1

我通过将我的 Serde JAR 文件放在应用程序的 lib 路径中解决了这个错误。

下面是我的HDFS目录结构:

/user/manoj/app/workflow.xml
/user/manoj/app/lib/json-serde-1.3-jar-with-dependencies.jar

PS:你可能有任何版本的 serDe JAR，我使用 json-serde-1.3-jar-with-dependencies.jar 是因为我在其他答案中发现这个版本也支持反序列化它对我有用。我遇到了 hive-serde.jar 的“无法反序列化”错误。