scala - 我收到错误消息说 No implicit argument of type :Encoder[ ]"in Spark

Question

我收到一条错误消息，提示 No implicit argument of type:Encoder[Movies] 你能告诉我哪里出错了吗，因为我是 spark 的新手。

我正在尝试读取电影文件并将其转换为具有 1 个“ID”列和第二个“电影名称”列的数据集。

import org.apache.spark.sql.SparkSession

object Practice {
    def main(args: Array[String]): Unit = {
        val spark = SparkSession
          .builder()
          .appName("dataFrameExample")
          .master("local")
          .getOrCreate()

    **case class Movies( ID:String, name:String)**

        val ds1 = spark.read
         .format("text")
         .option("header", "true") //first line in file has headers
         .load("C:\\SparkScala\\SparkScalaStudy\\movies").as[Movies]

        ds1.printSchema()
    }
}

Answer 1

您需要移动 case class Movies来自 main功能，并添加 import spark.implicits._在 ds1 之前