gpt4 book ai didi

scala - 如何使用 Scala IDE 和 Maven 构建 spark 应用程序?

转载 作者:行者123 更新时间:2023-12-01 13:50:56 25 4
gpt4 key购买 nike

我是 Scala、Spark 和 Maven 的新手,想构建描述的 spark 应用程序 here .它使用 Mahout 库。

我安装了 Scala IDE 并想使用 Maven 构建依赖项(即 Mahout 库和 Spark 库)。我找不到一个好的教程来开始。有人可以帮我解决吗?

最佳答案

首先尝试在 Scala IDE 中使用 Maven 编译简单的应用程序。 Maven项目的关键是目录结构和pom.xml。虽然我不使用 Scala IDE,但该文档似乎很有帮助。 http://scala-ide.org/docs/tutorials/m2eclipse/

下一步是在 pom.xml 中添加对 Spark 的依赖,您可以按照此文档进行操作。 http://blog.cloudera.com/blog/2014/04/how-to-run-a-simple-apache-spark-app-in-cdh-5/

有关最新版本的 Spark 和 Mahout Artifact ,您可以在此处查看它们: http://mvnrepository.com/artifact/org.apache.spark http://mvnrepository.com/artifact/org.apache.mahout

希望这对您有所帮助。

关于scala - 如何使用 Scala IDE 和 Maven 构建 spark 应用程序?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/31687479/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com