scala - Spark scala 错误

Question

嘿，我尝试将 Spark 与 scala 一起使用。当我尝试这段代码时

    object d29 {
    def main(args: Array[String]){
    val name : String ="myspark"
    val master : String ="local[1]"
    val conf : SparkConf = new SparkConf().setAppName(name).setMaster(master)
    val  spContext : JavaSparkContext = new JavaSparkContext(conf)
    val file = spContext.textFile("zed/text.csv")
    val mapped = file.map(s=>s.length)
    }
}

我收到以下 s 错误:缺少参数类型

谢谢

Answer 1

如果您使用 Scala，则不要创建 JavaSparkContext。使用 SparkContext 代替:

val spContext: SparkContext = new SparkContext(conf)

然后你的代码就可以工作了。

如果您使用的是 Spark 2，请使用新的 SparkSession 而不是 SparkContext。