apache-spark - 多个 SpartContext 在同一个 JVM 上运行

Question

我正在使用 spark，遇到这样的错误，导致整个 spark 进程停止:

16:01:37.289 [main] WARN  org.apache.spark.SparkContext - Another SparkContext is being 
constructed (or threw an exception in its constructor).  This may indicate an error, since 
only one SparkContext may be running in this JVM (see SPARK-2243). The other SparkContext 
was created at:
org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:61)

我不认为我有多个 SparkContext 在同一个 JVM 上运行。如何检查这个？还是强行杀死已经运行的？

Answer 1

当你试图在同一个 JVM 中实例化另一个 SparkContext 时，它已经启动了一个 SparkContext，SparkContext 构造函数将抛出一个异常。您可以使用 spark.driver.allowMultipleContexts=true 关闭异常。

//SparkConf which is using to instantiate SparkContext (new SparkContext((conf))
conf.set("spark.driver.allowMultipleContexts","true")

如果您以本地模式启动它，通常 spark 会在正在运行的机器上打开 4040 端口。您可以运行从 4040 到 4050 的一个端口扫描并检查进程名称。