hadoop - 如何使用 Hadoop MapReduce 索引一个非常大的图？

Question

我有一个长文本文件形式的非常大的图(1000 亿个链接，1TB)，其中每一行定义图弧。

引用文件

page1, page2
page3, page10
page5, page 1
.
.
.
pageN, pageM

其中 pageN 可以是任何网页。

为了节省空间，我想将此图转换为索引版本(包含两个文件)。

索引文件(节点文件):

page1, 1
page2, 2
page3, 3
page4, 4
.
.
.
pageN, N

和 arc 文件(链接):

1, 2
3, 10
5, 1
.
.
.
N, M

是否有任何 MapReduce(Hadoop、Pig 等)算法可以有效地进行这种转换？

Answer 1

有了 Pig，这很容易。首先，您需要获得图表中所有唯一页面的列表。如果一列中的页面未出现在另一列中，则您应该能够使用 DISTINCT 和可能的 UNION 获得此信息。接下来，您可以使用 RANK 函数为每个页面分配一个唯一的 ID。将其保存为您的第一个文件。

然后，您可以使用 JOIN 将这些 ID 引入到您的图边列表中。将其保存为您的第二个文件。

如果您在任何步骤中遇到任何问题，请随时发布有关该步骤的具体问题，我们可以帮助您。