Hadoop 任务 : "execvp: permission denied"

Question

在多个开发人员工作站(即它们具有不同的本地配置)上设置的小型 Hadoop 集群中，我有 6 个 TaskTracker 中的一个存在问题。每当它收到一个任务时，该任务立即失败并返回 ChildError:

java.lang.Throwable: Child Error
    at org.apache.hardoop.mapred.TaskRunner.run(TaskRunner.java:242)
Caused by: java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hardoop.mapred.TaskRunner.run(TaskRunner.java:229)

当我查看任务的 stdout 和 stderr 日志时，stdout 日志是空的，stderr 日志只有:

execvp: Permission denied

我的工作完成了，因为 tasktracker 最终被列入黑名单并在其他节点上运行，这些节点运行任务没有问题。我无法从任何数量的作业中获得在这个节点上运行的任何任务，所以这是一个普遍的问题。

我有一个 DataNode 在此节点上运行，没有任何问题。

我想这里可能存在某种 Java 问题，它很难生成 JVM 或其他东西......

Answer 1

我们有同样的问题。我们通过在下面的文件中添加“执行”来修复它。

$JAVA_HOME/jre/bin/java

因为 hadoop 使用 $JAVA_HOME/jre/bin/java 来生成任务程序而不是 $JAVA_HOME/bin/java。

如果您在更改文件模式后仍然遇到此问题，建议您使用远程调试来查找生成任务的 shell cmd，请参阅 debugging hadoop task