hadoop - xyz场景需要多少个mapper和reducer？

Question

方案:我有节点A和节点B，每个节点都有100 mb的磁盘空间。我想在其中存储128 MB的文件(让复制因子为1，块大小为64 MB)。在这种情况下如何存储文件？还需要多少个映射器和 reducer 来处理此文件？
假设我要使用一个映射器处理此文件，那么哪个节点将运行该映射器？

Answer 1

我假设您正在谈论2个数据节点A和B，因为整个集群只有A＆B，所以它们中的任何一个都必须是不能存储任何数据的名称节点。

文件将被分成两个64MB的块， A和B将每个托管一个块。不能说谁将拥有第一，谁将拥有第二。

在默认设置中， 2个映射器将处理它们各自节点中的拆分，而一个reducer 将处理两个映射器的输出。

如果您只想强制使用一个映射器，则任务跟踪器的第一个任务跟踪器的数据节点将运行该映射器。

希望这可以帮助。