gpt4 book ai didi

eclipse - 在 Maven 项目中使用 HiveContext

转载 作者:行者123 更新时间:2023-12-02 13:43:31 24 4
gpt4 key购买 nike

我已经使用 Maven 构建了 Spark-1.2.1,以使用以下命令启用 Hive 支持:mvn -Pyarn -Phadoop-2.4 -Dhadoop.version=2.4.0 -Phive -DskipTests 干净包

这导致在 /spark-1.2.1/core/target/scala-2.10/classes 文件夹中生成一些类文件

现在如何在我的 Eclipse + Maven 项目中使用这个新建的 Spark?我想在 Eclipse 中使用 Spark-SQL 的 HiveContext 类。

最佳答案

当您要在java程序中使用SparkSQL时,您只需将适当的依赖项添加到您的maven项目中即可使用所需的类。使用 Hive 支持构建 Spark 使您能够在 Hive 支持下启动 Spark 守护进程。它生成一个程序集 jar,需要将其复制到所有 Spark 工作节点。更多详情请参见here

用于使 HiveContext 工作的 Maven 依赖项:

<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>1.2.1</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>1.2.1</version>
</dependency>

关于eclipse - 在 Maven 项目中使用 HiveContext,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/28931166/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com