Scala Spark : (org. apache.spark.repl.ExecutorClassLoader) 无法在路径上检查 REPL 类服务器上的类组织是否存在

Question

运行基本的 df.show() post spark notebook 安装

在 spark-notebook 上运行 scala - spark code 时出现以下错误。知道这种情况何时发生以及如何避免吗？

[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org.apache.spark.sql.catalyst.expressions.Object on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class org on REPL class server at spark://192.168.10.194:50935/classes
[org.apache.spark.util.Utils] Aborting task
[org.apache.spark.repl.ExecutorClassLoader] Failed to check existence of class

Answer 1

我在本地安装了 spark，当我使用以下代码时，它给了我同样的错误。

spark.read.format("json").load("Downloads/test.json")

我认为问题是，它试图找到一些主节点并采用一些随机或默认 IP。我指定了模式，然后将 IP 提供为 127.0.0.1它解决了我的问题。

解决方案

使用 运行 spark本地 掌握

usr/local/bin/spark-shell --master "local[4]" --conf spark.driver.host=127.0.0.1'