apache-spark - 如何使用 Spark 从保存的文件中加载数据

Question

Spark 提供方法 saveAsTextFile哪个可以存储RDD[T]轻松进入磁盘或 HDFS。

T 是一个任意的可序列化类。

我想反转操作。
不知道有没有loadFromTextFile它可以轻松地将文件加载到 RDD[T] ?

让我说清楚:

class A extends Serializable {
...
}

val path:String = "hdfs..."
val d1:RDD[A] = create_A

d1.saveAsTextFile(path)

val d2:RDD[A] = a_load_function(path) // this is the function I want

//d2 should be the same as d1

Answer 1

尝试使用 d1.saveAsObjectFile(path)存储和 val d2 = sc.objectFile[A](path)装载。

我想你不能saveAsTextFile并读出为 RDD[A]未经改造自 RDD[String]