Hadoop on CentOS streaming example with python - permission denied on/mapred/local/taskTracker

Question

我已经能够使用 python 映射器和缩减器设置流式示例。 mapred文件夹位置是/mapred/local/taskTrackerroot 和 mapred 用户都拥有此文件夹和子文件夹的所有权

然而，当我运行我的流式传输时，它会创建 map 但不会减少并给出以下错误无法运行程序/mapred/local/taskTracker/root/jobcache/job_201303071607_0035/attempt_201303071607_0035_m_000001_3/work/./mapper1.py权限被拒绝

我注意到，虽然它为 mapred/local/taskTracker 及其所有子目录提供了 +rwx 权限，但是当 mapreduce 为此作业创建临时文件夹时，这些文件夹并没有为所有用户提供 rwx ...并且因此我得到了权限被拒绝的错误

我一直在寻找与此相关的论坛主题，尽管有些主题提到了同样的错误……但我找不到任何有解决方案的回复。

任何帮助将不胜感激

Answer 1

我假设您以用户 root 身份运行 Hadoop 守护进程。在这种情况下，新创建文件的权限由用户 root 的 umask 决定。但是，您不得更改 root 的 umask。

如果您想以不同的用户运行 MapReduce 作业和集群，最好以用户 hadoop 启动 Hadoop 守护进程，以用户 mapreduce 启动 MapReduce 作业>。然而，这两个用户应该属于同一个组，即 hadoop。此外，用户 hadoop 的 umask 应相应设置。