scala - 如何在 ScalaTest 测试中正确使用 Spark？

Question

我有多个 ScalaTest 类使用 BeforeAndAfterAll构建一个 SparkContext然后像这样停止它:

class MyTest extends FlatSpec with Matchers with BeforeAndAfterAll {

  private var sc: SparkContext = null

  override protected def beforeAll(): Unit = {
    sc = ... // Create SparkContext
  }

  override protected def afterAll(): Unit = {
    sc.stop()
  }

  // my tests follow
}

这些测试在从 IntelliJ IDEA 启动时运行良好，但在运行时 sbt test , 我得到 WARN SparkContext: Another SparkContext is being constructed (or threw an exception in its constructor). This may indicate an error, since only one SparkContext may be running in this JVM (see SPARK-2243). ，然后是一堆其他的异常(exception)，我想这些异常(exception)都与这个问题有关。

如何正确使用Spark？我是否必须创建一个全局 SparkContext对于整个测试套件，如果是，我该怎么做？

Answer 1

似乎我只见树木不见森林，我忘记了 build.sbt 中的以下行:

parallelExecution in test := false

使用这条线，测试运行。