scala - 在 Scala 中创建 SparkSession 时出现 java.lang.InterruptedException

Question

如果我克隆这个要点:https://gist.github.com/jamiekt/cea2dab3ea8de91489b31045b302e011

然后发出 sbt run失败就行

val spark = SparkSession.builder()
                        .config(new SparkConf().setMaster("local[*]"))
                        .enableHiveSupport()
                        .getOrCreate()

有错误:

Java.lang.InterruptedException at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchronizer.java:2014)

不知道为什么会发生这种情况。有人有建议吗？

Scala 版本是 2.11.12(参见 build.sbt 中的要点)
Spark 版本是 2.3.0(再次参见 build.sbt )
java 版

$ java -version
java version "1.8.0_161"

Answer 1

错误是因为您没有停止创建的 sparkSession 实例，并且该实例从内存中删除，而没有尽快关闭 sbt run完成，即在您的代码成功完成之后。

所以你只需要

  spark.stop()

在创建实例的范围的末尾

object Application extends App{
  import DataFrameExtensions_._
  val spark = SparkSession.builder().config(new SparkConf().setMaster("local[*]")).enableHiveSupport().getOrCreate()
  //import spark.implicits._
  //val df = Seq((8, "bat"),(64, "mouse"),(-27, "horse")).toDF("number", "word")
  //val groupBy = Seq("number","word")
  //val asAt = LocalDate.now()
  //val joinedDf = Seq(df.featuresGroup1(_,_), df.featuresGroup2(_,_)).map(_(groupBy, asAt)).joinDataFramesOnColumns(groupBy)
  //joinedDf.show

  spark.stop()
}

就在之前

Java.lang.InterruptedException at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.reportInterruptAfterWait(AbstractQueuedSynchronizer.java:2014)

您也必须有以下消息

ERROR Utils: uncaught error in thread SparkListenerBus, stopping SparkContext

这提供了错误原因的线索。