hadoop - oozie 4.1.0 Louncher失败，找不到OozieLauncherInputFormat $ EmptySplit

Question

我们已将基础架构从hdp 2.0升级到hdp 2.2，这意味着从hadoop 2.2.0升级到2.6.0，oozie从4.0.0升级到4.1.0。我们正在使用简单的身份验证等。提交作业后，oozie启动器将失败，并显示以下内容:

2015-02-04 09:56:33,364 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.io.IOException: Split class org.apache.oozie.action.hadoop.OozieLauncherInputFormat$EmptySplit not found
    at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:363)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:423)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.OozieLauncherInputFormat$EmptySplit not found
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1982)
    at org.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:361)
    ... 7 more

2015-02-04 09:56:33,373 INFO [main] org.apache.hadoop.mapred.Task: Runnning cleanup for the task

发现这些类包含在根据oozie-site.xml配置上传到HDFS到/user/${user.name}/share/lib的oozie share / lib中:

<property>
  <name>oozie.service.WorkflowAppService.system.libpath</name>
  <value>/user/${user.name}/share/lib</value>
</property>

其中$ {user.name}是运行oozie服务器的用户，例如哎呀由于某些原因，这些库不会传播到mapreduce.application.classpath，因此不会传播到ClassNotFoundException。

尝试将以下属性更改为true:

   <property>
    <name>use.system.libpath.for.mapreduce.and.pig.jobs</name>
    <value>true</value>
  </property>

但是没有区别。我不确定安装说明 here中缺少什么

任何提示将不胜感激。

谢谢

更新:
发现有一个用于在oozie 4.1.0上安装sharelib的新过程，该过程允许升级libs而无需重新启动服务器或等待所有正在运行的作业完成。可以在 here中找到描述。但是我仍然面临以下问题，因为命令仍然返回null:

[oozie@virtual oozie]$ oozie admin -shareliblist
null

Answer 1

您是否检查了节点是否在受尊重的位置使用了该类，是否检查了节点，如果没有受尊重的类，则将出现找不到类的异常，仅当受尊重的类不可用，或者Oozie正在读取某些重复的Jar时同时。

您可以使用Oozie User在“提及位置”中手动更新Unzip Oozie共享lib文件夹，它们将起作用。

另外，您需要传递parament调用
oozie.use.system.libpath = true ，这些将通知Oozie每次在Oozie Stars上从DFS共享位置读取相同内容。