apache-spark - Windows 10 中的 pyspark.sql.utils.IllegalArgumentException : "Error while instantiating ' org. apache.spark.sql.hive.HiveSessionStateBuild

Question

我已经在 Windows 10 中安装了带有 winutils 的 spark 2.2。当我要运行 pyspark 时，我遇到了以下异常

pyspark.sql.utils.IllegalArgumentException: "Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'

我已经在 tmp/hive 文件夹中尝试过权限 777 命令。但它现在不起作用

winutils.exe chmod -R 777 C:\tmp\hive

应用此问题后，问题仍然存在。我在 Windows 10 中使用 pyspark 2.2。
她是 spark-shell 环境


这是pyspark shell


请帮我弄清楚
谢谢

Answer 1

我在使用 apache-spark 2.2 的 mac os 中使用命令“pyspark”和“spark-shell”(用于 scala)时遇到了同样的问题。根据一些研究，我认为这是因为我的 JDK 版本 9.0.1 不能很好地与 Apache-Spark 配合使用。通过从 Java JDK 9 切换回 JDK 8，这两个错误都得到了解决。

也许这也可能对您的 Windows Spark 安装有所帮助。