hadoop - Apache Giraph 中具有复杂值的顶点

Question

我正在尝试将一些包含相关顶点信息的文本文件读入 Giraph:每一行都是

vertex_id attribute_1 attribute_2 .....attribute_n

其中每个属性都是一个字符串。

目标是创建一个顶点，其中所有这些属性都是顶点值的一部分。

查找各种输入格式我找不到任何现成的东西，所以我假设我必须从 VertexValueInputFormat 派生我的顶点输入类(我有一个单独的边阅读器)。

问题是:如何？我已经创建了一个包含 String[] 数组的 Value 类，但我如何将它交给 Giraph/Hadoop？这是单行阅读器:

https://giraph.apache.org/giraph-core/apidocs/org/apache/giraph/io/formats/TextVertexValueInputFormat.TextVertexValueReaderFromEachLine.html

protected abstract V getValue(org.apache.hadoop.io.Text line)

原以为，V 将是一个ArrayWritable，但似乎并不喜欢它。

有什么线索吗？谢谢

Answer 1

如果您的顶点有一个自定义值(在您的例子中是字符串数组)，那么您需要有一个自定义顶点值类和一个自定义顶点输入格式。例如，看一个非常简单的自定义顶点类。此类有一个 double 值、一个 int 和一个 long:https://gist.github.com/sar-vivek/df09cca17cc3f6b5ac60注意 - 您必须相应地覆盖 readFields() 和 write()。

然后你需要有一个自定义的顶点输入格式。对于上面的顶点类，我稍微修改了内置的 json 顶点读取器。这是示例 - https://gist.github.com/sar-vivek/f39edacec6d9a43c3717 [注意第 68 行中顶点的值是如何设置的]。