scala - toArray 的值不是 org.apache.spark.rdd.RDD[(String, Int)] 的成员

Question

当我厌倦编译我的 scala 程序时遇到了问题。这是我的代码。

这是代码中出现问题的部分。

val Average_Age = 
 value2
  .groupBy(_._2._1)
  .mapValues(Sum_Age=>mean1(Sum_Age.map(_._2._2)))
  .toArray

Answer 1

Spark对RDD的操作主要有两种:

1. 转换:将输入作为 RDD 并将输出作为 RDD

2. 操作:获取输入 RDD 并返回 Scala 集合。

您在这里做错的是您试图将RDD直接转换为Array。这是无法完成的，因此您需要首先应用 Action 以获取 scala Collection 形式的输出。

因此，您可以通过添加操作来完成此操作:

val Average_Age = 
 value2
  .groupBy(_._2._1)
  .mapValues(Sum_Age=>mean1(Sum_Age.map(_._2._2))).collect
  .toArray

PS:代码未经测试!