java - scala 中的 cogroup 两个 RDD

Question

我正在尝试将函数中的两个 RDD 组合起来进行一些计算。我的代码如下:

def myCogroupFunction(teachers: org.apache.spark.rdd.RDD[Teacher], students: org.apache.spark.rdd.RDD[Student]) {

    val teacherPairs = teachers.map { t =>
      val nameKey: String = t.getName()
      (nameKey.toUpperCase(), t)
    }

    val studentPairs = students.map { s =>
      val nameKey: String = s.getName()
      (nameKey.toUpperCase(), s)
    }

    teacherPairs.cogroup(studentPairs)
  }

<小时/>

但是，我收到错误消息:

value cogroup is not a member of org.apache.spark.rdd.RDD[(String, com.abc.Teacher)]

我在这里做错了什么？非常感谢!

Answer 1

这应该有效，除非您使用旧版本的 Spark，在这种情况下，您需要通过以下方式导入使之成为可能的隐式:

import SparkContext._