Hadoop优化建议

Question

考虑一个场景:如果我增加 HDFS 中数据的复制因子；假设在一个 10 节点的集群中，我将 RF = 5 而不是 3(默认值)，它会提高我的数据处理任务的性能吗？

与默认复制设置相比，映射阶段会更快完成吗？

reduce阶段会有什么影响吗？

Answer 1

复制对存储的影响:

• 复制因子对集群的存储有巨大的影响。很明显:复制因子越大，集群中可以存储的文件数量就越少。
• 如果复制因子为 5，则每将 1 GB 的数据引入集群，您将需要 5 GB 的存储空间，并且您将很快耗尽集群中的空间。
• 由于 NameNode 将所有元信息存储在内存中，因此它会很快耗尽空间来存储元数据。因此，您的 NameNode 必须分配更多内存(检查 HADOOP_NAMENODE_OPTS)。
• 数据复制操作将花费更多时间，因为数据复制是跨数据节点菊花链式连接的。在提交写入/追加之前，现在有 5 个数据节点必须确认数据存储，而不是 3 个数据节点

复制对计算的影响:

映射器:

• 复制因子越高，安排映射器的选项就越多。复制因子为 3，您可以在 3 个不同的节点上安排一个映射器。但是，如果系数为 5，您将有 5 个选择
• 您可以通过增加复制因子来实现更好的数据局部性。每个映射器都可以安排在存在数据的同一节点上(因为现在有 5 个选择，而不是默认的 3 个)，从而提高了性能。
• 由于有更好的数据局部性，较少数量的映射器将复制节点外或机架外数据

由于这些原因，复制因子较高的映射器可能比复制因子较低的映射器更早完成。

由于映射器的数量通常总是高于缩减器的数量，因此您可能会看到工作性能的整体提升。

reducer :

• 由于 reducer 的输出直接写入 HDFS，因此您的 reducer 可能需要更多的时间来执行，具有更高的复制因子。

总体而言，您的映射器可能会以更高的复制因子执行得更快。但是，实际的性能提升取决于各种因素，例如集群的大小、带宽、NameNode 内存等。

回答完这个问题后，我在这里遇到了另一个类似的问题:Map Job Performance on cluster .这还包含更多信息，以及各种研究论文的链接。