hadoop - 不支持的操作异常 : Not implemented by the KosmosFileSystem FileSystem implementation

Question

我想知道您对为什么会发生此错误的意见。在陆上生产环境中，我们使用 CDH4。在我们的本地测试环境中，我们只使用 Apache Hadoop v2.2.0。当我运行在 CDH4 上编译的同一个 jar 时，MR 作业执行得很好。但是当我在 Hadoop v2.2.0(启用 YARN)上运行 jar 时，我得到这个错误:

INFO mapreduce.Job:任务 ID:attempt_1391062333435_0001_m_000000_0，状态:失败
错误:java.lang.UnsupportedOperationException:KosmosFileSystem 文件系统实现未实现

日志显示 Map 作业成功运行，但 Reduce 作业 - 所有这些都失败了 - 并出现上述错误。 Google 上关于此错误的点击率不高，所以除了这里我无处可逃。

有什么想法吗？谢谢。

Answer 1

很抱歉回复晚了。当我们将我们的环境与陆上环境同步时，这个问题就解决了。也就是说，我们没有使用普通的 Apache Hadoop，而是使用了 Cloudera 发行版。