hadoop - Oozie Java Action 在使用 HCat 摄取期间失败？

Question

我有一个 jar 来执行数据摄取；使用 hadoop jar <jar_name> <args> 时有效从命令行，但是当我尝试使用 Oozie Java Action 实现相同的操作时，出现以下错误。

错误信息:

While running Java Action during Sqoop Import 2017/02/23 13:02:36.848 [ERROR] main (ImportTool.java) - Encountered IOException running import job: java.io.IOException: HCat exited with status 1
at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.executeExternalHCatProgram(SqoopHCatUtilities.java:1196)
at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.launchHCatCli(SqoopHCatUtilities.java:1145)
at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.createHCatTable(SqoopHCatUtilities.java:679)
at org.apache.sqoop.mapreduce.hcat.SqoopHCatUtilities.configureHCat(SqoopHCatUtilities.java:342)

如果您在 Sqoop 摄取期间遇到类似问题，请告诉我。

Answer 1

您能否验证所有依赖的 jar 以及您要执行的 jar 在 hdfs 中是否可用。这是必需的，因为 Oozie 将生成 1 个仅限 map 的作业来触发操作，并且它可以在任何可用节点上执行。该节点将尝试从 HDFS 访问 jar 和相关文件。