hadoop - 支持 Amazon EMR 上的 Hadoop 1.0.1 作业

Question

我使用 java 和 hadoop 1.0.1 开发了一些 MR 作业。但是，EMR 仅支持 Hadoop 0.20。是否可以在 EMR 上运行 Hadoop 1.0.1 作业，或者我是否必须降级我的库堆栈以符合 EMR hadoop 版本？

Answer 1

取决于您是否使用任何 1.0.1 特定类。核心 Mapper 和 Reducer 类(新旧 API 类型)在 0.20 和 1.0.1 之间没有变化。

您可以尝试将 hadoop 依赖项更改为 0.20.2 并重建您的 MR 作业 jar - 如果没有编译错误那么您就非常接近了(0.20 和 1.0.1 之间可能有一些错误修复，但我想你会没事的)。

如果你确实发现你的工作编译失败，并且它与 0.20 中不可用的一些输入/输出格式有关(比如一些多输入/输出)，你可以检查 1.0.1 的 Hadoop 源(或者确实是 Cloudera 0.20.2 源代码)看看您是否可以“向后移植”缺失的格式，然后将其添加到您的作业 jar 中。

随时将编译错误重新发布回您的原始问题，以便人们对潜在的解决方法发表评论。