hadoop - 如何处理 hadoop 中的 straggler reducers

Question

我有一个非常简单的用例...基本上我有一个边缘列表，我试图将它转换成邻接列表..基本上

src target
a     b
a    c
b    d
b    e

等等..我要构建的是

a [b,c]
b [d,e]
.. and so on..

但时不时地..我碰到一个 super 节点..它有数百万条边..

因此，由于这个 straggler reducer，只键入节点 ID 会导致 MR 执行不佳。

我一直在努力了解分区程序..但我不知道如何在这里使用它？

我该如何解决这个散兵游勇的问题？谢谢

Answer 1

我不明白你的目的是什么。你用什么来生成一个单一的输出文件？或者你想加快速度？

如果你想获得单个输出文件，那么你可以将 reducer 的数量设置为 1。

或者您可以使用 srcID 作为映射的键和 targetID 作为值，这样具有相同 srcID 的 k-v 对可以组合在同一个 reducer 中。