java - 将 Mapreduce1 项目迁移到 YARN 指南

Question

我有一个基于 MapReduce 1 的大型 Java 项目，我想将它迁移到 YARN。这里有人知道如何操作的好指南吗？

谢谢。

Answer 1

我负责生产 Hadoop 集群的升级以及应用程序。我们遵循的流程是:

1. 我们根据支持 YARN 的所需 hadoop 分布构建了一个小型集群。
2. 我们在新集群中测试了整个代码，如 Map/Reduce 程序、Pig 程序 hive 脚本、sqoop 脚本等，并对代码进行了必要的更改。通常没有太多的代码端更改。只需要验证支持的功能、方法等。
3. 验证了旧输出的输出，如果您的输出与旧输出匹配，那么您的代码就可以运行了。如果不匹配，那么您需要修复代码。
4. 升级了 hadoop 集群。
5. 在升级后的集群上部署了代码。

注意:您不能只用 YARN 替换 MapReduce 版本 1。您还需要升级 pig、hive、sqoop 等。我建议先获取您需要的 HDP 堆栈，然后升级您的集群。所有受支持的工具、实用程序和软件都应使用受支持的 Hadoop 版本进行升级。