hadoop - mapreduce 中的 NativeIO chmod "ENOTDIR"异常

Question

我发现 mapreduce 作业似乎由于 RawLocalFileSystem 中的某些问题而无法启动。

我该如何调试这个错误？似乎没有与 NativeIO chmod 异常关联的目录或命令的踪迹。

当然，一个选项是使用自定义 RawLocalFileSystem 实现将 jar 捆绑到我的类路径中，但这似乎有点矫枉过正。

13/07/11 18:39:43 错误安全性。用户组信息:PriviledgedActionException 为:根本原因:ENOTDIR:不是目录ENOTDIR:不是目录 在 org.apache.hadoop.io.nativeio.NativeIO.chmod( native 方法) 在 org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:699) 在 org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:654) 在 org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 在 org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 在 org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:189) 在 org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:116)

Answer 1

这是一个有趣的错误:事实证明我确实创建了一个文件，该文件已经存在于需要创建目录的地方。

就是说，我的文件系统实现的根目录中有一个名为“tmp”的文件!

无论如何，困惑是由于 hadoop NativeIO 类的错误报告很少。

我认为这是一个失败，应该由底层 NativeIO 类更好地报告和记录。