gpt4 book ai didi

apache-spark - 在 hadoop 集群中运行 Spark 作业时出现 java.lang.NoClassDefFoundError : org/apache/hadoop/hbase/HBaseConfiguration

转载 作者:可可西里 更新时间:2023-11-01 16:37:07 28 4
gpt4 key购买 nike

当我尝试运行连接 hbase 数据库的 scala 代码时,它在我的本地 IDE 中运行良好。但是当我在 hadoop 集群中运行相同的程序时,我收到“线程“主”java.lang.NoClassDefFoundError 中的异常:org/apache/hadoop/hbase/HBaseConfiguration”错误。

请帮帮我

最佳答案

将所有的 HBase 库 jar 添加到 HADOOP_CLASSPATH -

export HBASE_HOME="YOUR_HBASE_HOME_PATH"
export HADOOP_CLASSPATH="$HADOOP_CLASSPATH:$HBASE_HOME/lib/*"

您可以将任何需要的外部 jar 附加到 HADOOP_CLASSPATH,这样您就不需要在 spark-submit 命令中显式设置它。所有依赖的 jar 都将被加载并提供给您的 Spark 应用程序。

关于apache-spark - 在 hadoop 集群中运行 Spark 作业时出现 java.lang.NoClassDefFoundError : org/apache/hadoop/hbase/HBaseConfiguration,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49873655/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com