apache-spark - 为什么 SparkContext 会随机关闭，如何从 Zeppelin 重新启动？

Question

我正在 Zeppelin 编写 spark-sql 查询，有时我突然开始收到此错误(在未更改代码之后):

Cannot call methods on a stopped SparkContext.

然后输出进一步说明:

The currently active SparkContext was created at:

(No active SparkContext.)

这显然没有意义。这是 Zeppelin 中的错误吗？还是我做错了什么？如何重新启动 SparkContext？

谢谢

Answer 1

我曾多次遇到过这个问题。

如果您将 master 设置为 yarn-client，可能是由于资源管理器的停止/重新启动，解释器进程可能仍在运行但 Spark Context(它是一个 Yarn 应用程序)不再存在。

您可以通过咨询资源管理器 Web 界面来检查 Spark Context 是否仍在运行，并检查是否有名为 Zeppelin 的应用程序正在运行。

有时从 Zeppelin 中重新启动解释器进程(解释器选项卡 --> spark --> 重新启动)将解决问题。

其他时候您需要:

从命令行杀死 Spark 解释器进程

删除 Spark 解释器 PID 文件

下次开始段落时，它将开始新的 Spark 上下文