scala - 如何修复 "error: encountered unrecoverable cycle resolving import"？

Question

如何解决以下编译错误？

SOApp.scala:7: error: encountered unrecoverable cycle resolving import.
Note: this is often due in part to a class depending on a definition nested within its companion.
If applicable, you may wish to try moving some members into another object.
  import spark.implicits._

代码:

object SOApp extends App with Logging {
  // For implicit conversions like converting RDDs to DataFrames
  import spark.implicits._

  import org.apache.spark.sql.SparkSession  
  val spark = SparkSession
    .builder()
    .appName("Stackoverflow App")
    .master("local[*]")
    .getOrCreate()
}

Answer 1

tl;dr 在 val spark = SparkSession...getOrCreate() 之后移动 import spark.implicits._。

---

这个名称 spark 会引起很多混淆，因为它可能指代 org.apache.spark 包以及 spark 值。

与 Java 不同，Scala 允许在更多地方使用 import 语句。

您可以将 Spark SQL 惯用语视为创建一个 spark 值来访问隐式。在 Scala 中，您只能将隐式从稳定对象(如值)引入范围，因此以下是正确的:

  // For implicit conversions like converting RDDs to DataFrames
  import spark.implicits._

正如您评论所说，它是将 RDD 隐式转换为数据帧(其中包括)。

这不是导入org.apache.spark包，而是为了隐式转换。