java - 在 Hadoop 中运行非 mapreduce 工作

Question

我想知道是否可以在 Hadoop 中运行非 mapreduce 作业，例如打印“hello word”的 java 程序。如果是这样，你能给我举个例子吗？非常感谢。

Answer 1

在 Hadoop 1.x 和之前的版本中这是不可能的。然而，这正是 YARN 的设计目的。 MapReduce 2.0 建立在 YARN 之上。

YARN 是分布式资源管理的抽象。看看here

编辑:实际上我撒谎了，在 Hadoop 1.x 和之前的版本中，仍然可以通过一些 hackery 来完成非 MapReduce 作业。如果你看路Apache Giraph实现后，他们挂接到 MapReduce 框架中进行任务分发。 Mapper 只是成为他们启动真实代码的容器。但以我的拙见，这不是一个优雅的解决方案。自 YARN 发布以来，在 YARN 上也有 Giraph 的实现，它(再次恕我直言)更加优雅。