hadoop - Spark : Export graph data to anything (Hive, 文本等)

Question

我有一个以这种方式创建的星图

val graph = Graph(vertices, edges, defaultArticle).cache

我的顶点是 RDD[(Long, (String, Option[String], List[String], Option[String])] 我的边是 RDD[Edge[长]]

如何将此图形/边/顶点保存到 Hive/文本文件/其他任何内容，以及如何读回它？我查看了 Spark SQL 文档和 Spark 核心文档，但我仍然没有成功。如果我执行 saveAsTextFile()，那么当我读回它时，它是一个 RDD[String]，这不是我需要的....

编辑: Daniel 提供了另存为对象文件的答案...我仍然有兴趣了解如何将上面的对象保存和读取为 Hive 表。谢谢!

Answer 1

使用 rdd.saveAsObjectFile()/sc.objectFile 而不是 rdd.saveAsTextFile()/sc.textFile() ()。这将为每一行使用普通的 Java 序列化，存储为 Hadoop SequenceFile。