scala - 如何使用scala在apache spark中存储一个 Action 的结果

Question

如何在 apache Spark Scala 的输出目录中存储从以下操作生成的结果:计数？

    val countval= data.map((_,"")).reduceByKey((_+_)).count

以下命令不起作用，因为计数未存储为 RDD:

    countval.saveAsTextFile("OUTPUT LOCATION")

有什么方法可以将 countval 存储到本地/hdfs 位置？

Answer 1

@szefuf 说的是正确的，在 count 之后你有一个 Long，你可以用任何你想要的方式保存它。如果您想使用 .saveAsTextFile() 将其保存为 RDD，您必须将其转换为 RDD:

 sc.parallelize(Seq(countval)).saveAsTextFile("/file/location")

SparkContext中的parallelize方法将值的集合转为RDD，所以需要先将单个值转为单元素序列。然后就可以保存了。