hadoop - MapReduce 处理如何与本地文件系统一起工作？

Question

如果输入/输出来自本地文件系统，MapReduce 处理如何工作？

MapReduce 作业执行是否跨 Hadoop 集群异步发生？如果是，那是如何发生的？

在哪个用例中，我们真的需要使用这种方法吗？

Answer 1

1. MapReduce 在本地系统中的工作原理相同(mapper->reducer)

   (只是它的效率问题，因为它在本地系统而不是集群中效率较低)。

2. 是的，MapReduce 作业执行在 Hadoop 集群中异步发生(这取决于您在 mapreduce 程序中使用的调度器类型)

   点击for more about scheduler

3. 在大多数情况下，这用于测试目的(在本地系统中运行 mapreduce 程序)。