hadoop - hadoop mapreduce如何在云中内部工作？

Question

我开始研究hadoop mapreduce。

我是Java和hadoop的初学者，并且了解hadoop mapreduce的编码，但是有兴趣了解它在云中的内部工作方式。
您能否分享一些很好的链接来说明hadoop如何在内部工作？

Answer 1

Hadoop的工作方式与云无关。在3台笔记本电脑中，它的工作方式相同；-) Hadoop通常是“链接”到云计算的，因为它被设计为可与许多廉价计算机一起使用，因此在云中运行Hadoop是有意义的。

顺便说一句，Hadoop不仅是映射/缩减。首先是分布式文件系统，我们能够在分布式文件上执行分布式任务。而且不仅仅映射/ reduce task (我认为是从版本2开始)。

这是一个很大的主题。因此，如果您开始学习，您必须先阅读许多文章才能成为高手；-)

我的建议。首先寻找有关MapReduce的文章:

http://www-01.ibm.com/software/data/infosphere/hadoop/mapreduce/(简短)

https://developer.yahoo.com/hadoop/tutorial/module4.html(长)

然后查找有关Hadoop体系结构的文章(文件系统，然后是YARN)

http://hadoop.apache.org/docs/r2.7.0/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

http://hadoop.apache.org/docs/r2.7.0/hadoop-yarn/hadoop-yarn-site/YARN.html

您也应该看看Slideshare。