hadoop - 如何实现自定义 map 缩减框架

Question

是否可以自定义 map reduce 框架实现。如果是，是否有任何指南，例如要实现哪些接口(interface)以及所有

Answer 1

你需要更具体。

Map Reduce 框架允许您在 map reduce 过程的几乎所有步骤中提供自己的类。像输入和输出类，如何拆分工作等。默认情况下，hadoop 包含几个在几乎所有情况下都足够的实现，但如果没有，您可以提供自己的实现。

如果您想更好地控制您的流程并避免 MapReduce 规范施加的限制，那么您可以使用 Yarn，但在这种情况下，您需要实现任务之间的所有协调/通信。 MapReduceV2 在顶级 Yarn 上运行。

如果你想要中间的东西，你可以使用像 http://twill.incubator.apache.org/ 这样的框架。