gpt4 book ai didi

java - 如何使用 java 连接到 Spark-Shell 并执行 Hive 查询

转载 作者:行者123 更新时间:2023-12-02 02:19:41 26 4
gpt4 key购买 nike

您能给我一个如何通过java代码连接到spark shell的想法吗?

最佳答案

您可以在 pom.xml 中添加 Maven spark-corespark-sql 依赖项:

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>2.4.3</version>
</dependency>

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.12</artifactId>
<version>2.4.3</version>
</dependency>

然后,您将能够 @Autowired SparkSession 对象(如果您使用的是 Spring boot)并运行您的 Spark 操作。

关于java - 如何使用 java 连接到 Spark-Shell 并执行 Hive 查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57284173/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com