graph - 如何使用 Spark 处理大型 Titan Graph

Question

我已经在后端 Cassandra 2.1.13 的 TItan 1.0.0 中加载了非常大的图形。我必须使用 Spark 对图形执行一些操作。

例如，

1. 我想使用 Apache Spark 在非常大的图中查找子图
2. 我想对存储在 Titan 等中的图形运行一些聚类(机器学习代码)。

基本上，我将使用 Spark 在 TitanGraph 上应用一些算法(我想这在大图上会更快)

我能够找到与此相关的任何文档，以及如何处理图表。 Spark 是在大图上应用算法(机器学习)的正确方法吗？我的下一步应该是什么？如何在 Titan 上运行我的 Spark 代码？ (我找不到我应该插入/使用 Spark 代码的确切方法或函数？

感谢任何帮助。

Answer 1

你看过SparkGraphComputer了吗？ ？这有助于您应用将在 Spark 框架上执行的 Gremlin 查询。看看这个例子:

gremlin> graph = GraphFactory.open('conf/hadoop/hadoop-gryo.properties')
==>hadoopgraph[gryoinputformat->gryooutputformat]
gremlin> g = graph.traversal(computer(SparkGraphComputer))
==>graphtraversalsource[hadoopgraph[gryoinputformat->gryooutputformat], sparkgraphcomputer]
gremlin> :remote connect tinkerpop.hadoop graph g
==>useTraversalSource=graphtraversalsource[hadoopgraph[gryoinputformat->gryooutputformat], sparkgraphcomputer]
==>useSugar=false
gremlin> :> g.V().group().by{it.value('name')[1]}.by('name')
==>[a:[marko, vadas], e:[peter], i:[ripple], o:[josh, lop]]

另一种方法是使用 GraphComputer .这对您使用 Spark/Hadoop 在图形上应用 OLAP 和 OLTP 有很大帮助。这是一个例子

gremlin> result = graph.compute().program(PageRankVertexProgram.build().create()).submit().get()
==>result[tinkergraph[vertices:6 edges:0],memory[size:0]]
gremlin> result.memory().runtime
==>95
gremlin> g = result.graph().traversal(standard())
==>graphtraversalsource[tinkergraph[vertices:6 edges:0], standard]
gremlin> g.V().valueMap('name',PageRankVertexProgram.PAGE_RANK)
==>[gremlin.pageRankVertexProgram.pageRank:[0.15000000000000002], name:[marko]]
==>[gremlin.pageRankVertexProgram.pageRank:[0.19250000000000003], name:[vadas]]
==>[gremlin.pageRankVertexProgram.pageRank:[0.4018125], name:[lop]]
==>[gremlin.pageRankVertexProgram.pageRank:[0.19250000000000003], name:[josh]]
==>[gremlin.pageRankVertexProgram.pageRank:[0.23181250000000003], name:[ripple]]
==>[gremlin.pageRankVertexProgram.pageRank:[0.15000000000000002], name:[peter]]