gpt4 book ai didi

scala - 无法启动 spark-shell,因为它会在 hadoop 集群配置上产生错误,但是,在没有 hadoop 集群的情况下工作正常

转载 作者:可可西里 更新时间:2023-11-01 15:27:04 25 4
gpt4 key购买 nike

当我删除 hadoop 集群设置文件夹时,我的 spark-shell 工作得很好,但是,如果我尝试使用 hadoop 集群设置文件夹,那么 spark-shell 会产生各种错误,例如“实例化 'org.apache.spark 时出错.sql.hive.HiveSessionState' in spark"即使我没有在任何地方配置配置单元。请注意,即使我尝试关闭 hadoop 和 spark 的所有集群,但即使是 spark-shell 也会产生以下错误:

Error during excecution of ./bin/spark-shell

second part of the same error

最佳答案

运行:mkdir/user/$whoami/spark-warehouse

然后运行:spark-shell --conf spark.sql.warehouse.dir=file:///user/$whoami/spark-warehouse

关于scala - 无法启动 spark-shell,因为它会在 hadoop 集群配置上产生错误,但是,在没有 hadoop 集群的情况下工作正常,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43277775/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com