scala - 如何将 Array[String] 存储到输出文件

Question

这个问题在这里已经有了答案:





How to write to a file in Scala?

(18 个回答)


4年前关闭。




我有一个名为 samparr 的 Array[String] ，其中包含一些值，我希望将其存储为输出文件。

var samparr: Array[String] = new Array[String](4)
samparr +:= print1 + "  BEST_MATCH  " + print2

就像，

val output = samparr.saveAsTextFile(outputpath)

但不是 RDD 而是 Array[String]

Answer 1

您可以使用 SparkContext.parallelize将你的数组“分发”到 Spark 集群上(换句话说，把它变成一个 RDD)，然后调用 saveAsTextFile :

sc.parallelize(samparr).saveAsTextFile(outputpath)

此操作将分区数据并将每个分区发送到其中一个执行程序，然后每个分区将保存到单独的“文件部分”中。

或者 ，由于数组非常小并且不能真正“证明”使用 Spark，您可以尝试任何将数据保存到文件的非 Spark 方法，例如由 @avihoo-mamka 链接的那个: How to write to a file in Scala?