linux - Linux 上多节点 hadoop 设置的 MCR 权限问题

Question

我正在尝试运行一个名为 Phenoripper(图像分析软件)的程序，该程序在 Ubuntu (13.04) 上的 Hadoop 多节点设置(版本 1.1.2)内利用 MCR。 hadoop 设置与通用 python/java mapreduce 作业完美配合；但是，当我尝试在设置中使用 phenoripper 时，出现此错误:

boost::filesystem::create_directory:权限被拒绝

我已向 Phenoripper 的开发人员询问了此事，他们向我保证他们的程序不会创建或写入临时目录，并且由于它在单台计算机上完美运行，我相信 MCR 应对此错误负责。如果我理解正确的话，它正在尝试在没有权限的地方创建一个临时目录，可能是在一个从节点上。有谁知道这个目录可能位于哪里或如何找到它？如果我能找到这个目录，我的解决方案是使用适当的权限永久创建它。这听起来像是一个可行的解决方案吗？任何关于到底发生了什么/如何解决它的想法将不胜感激!

Answer 1

我对 MCR 的经验很少，但我尝试从 Hadoop tmp 目录的角度帮助指导您走向正确的方向。

可以想象，遇到Hadoop中创建tmp目录时，运行Phenoripper时的权限是不同的。如果您想了解 Hadoop 中临时目录的位置，请查看您的 hadoop-site 或 core-site 并找到:

<property>
<name>hadoop.tmp.dir</name>
<value>/tmp/hadoop-${user.name}</value>
</property>

这是在 hadoop 中找到的所有 tmp 目录的基础。然后看一下hdfs-site中的如下配置参数:

dfs.datanode.data.dir(new name) or dfs.data.dir (old name)

这包含您的作业写入的数据 block 。

hadoop 用于创建这些权限的 user.name 与您询问 whoami 时遇到的用户相同。