scala - 在 IntelliJ 中找不到 reduceByKey 方法

Question

这是我正在为 reduceByKey 尝试的代码:

import org.apache.spark.rdd.RDD
import org.apache.spark.SparkContext._
import org.apache.spark.SparkContext
import scala.math.random

import org.apache.spark._
import org.apache.spark.storage.StorageLevel

object MapReduce {

  def main(args: Array[String]) {

  val sc = new SparkContext("local[4]" , "")

  val file = sc.textFile("c:/data-files/myfile.txt")

  val counts = file.flatMap(line => line.split(" "))
    .map(word => (word, 1))
    .reduceByKey(_ + _)

  }

}

给出编译器错误:“无法解析符号reduceByKey”

当我将鼠标悬停在 reduceByKey 的实现上时，它给出了三种可能的实现，所以它似乎被找到了？:

Answer 1

您需要将以下导入添加到您的文件中:

导入 org.apache.spark.SparkContext._

Spark 文档:

“在 Scala 中，这些操作在包含 Tuple2 对象(内置的
语言中的元组，通过简单地书写 (a, b)) 创建，只要你导入 org.apache.spark.SparkContext._ 在您的程序中启用 Spark 的隐式转换。键值对操作在 PairRDDFunctions 类中可用，如果您导入转换，它会自动环绕元组的 RDD。”