r - readTypedObject(con, type) : Unsupported type for deserialization 中的 SparkR 错误

Question

我刚开始使用 SparkR。我写了一个简单的脚本，初始化 Spark 运行分析并将我的输出收集到 R。当试图通过以下方式停止 sparkR 时:

sparkR.stop()

我得到以下信息:

Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization

而且似乎 Spark 并没有停止，因为:

> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context

谁能向我解释发生了什么以及这个错误意味着什么？谢谢

Answer 1

看起来 SparkR 后端进程没有正确退出您可以通过使用类似 jps 列出所有 java 进程来明确停止 SparkR 后端进程。然后发出 kill <pid>对应于 SparkRBackend 的 pid。
在此之后重新启动 SparkR 应该可以解决问题