gpt4 book ai didi

hadoop - $SPARK_HOME 中包含的 hive-site.xml 是什么样的?

转载 作者:可可西里 更新时间:2023-11-01 15:05:02 27 4
gpt4 key购买 nike

我是 hive 的初学者,当我启动 spark 作业并从 hive 读取数据时发生了一些事情(找不到表)。我没有在 $SPARK_HOME/conf 中设置 hive-site.xml 吗?

提交spark作业命令在这里

bin/spark-submit --master local[*] --driver-memory 8g --executor-memory 8g  --class com.ctrip.ml.client.Client /root/GitLab/di-ml-tool/target/di-ml-tool-1.0-SNAPSHOT.jar

最佳答案

在您的 Hive 分发版中,您有一个模板文件,该文件必须转换为您自己的站点文件。

https://cwiki.apache.org/confluence/display/Hive/AdminManual+Configuration#AdminManualConfiguration-hive-site.xmlandhive-default.xml.template

因此,首先您必须通过复制 hive-default.xml.template 创建您自己的 hive-site.xml 文件,然后您可以从 spark 使用它。

如果您不想使用默认文件,您可以使用先前答案中显示的任何先前配置。

关于hadoop - $SPARK_HOME 中包含的 hive-site.xml 是什么样的?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34216766/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com