gpt4 book ai didi

scala - 使用Scala 2.11在独立模式下运行Spark?

转载 作者:行者123 更新时间:2023-12-02 08:28:36 27 4
gpt4 key购买 nike

我按照说明使用Scala 2.11构建Spark:

mvn -Dscala-2.11 -DskipTests clean package

然后我按照说明启动:
./sbin/start-master.sh

它在日志文件中以两行失败:
Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

显然,它正在寻找一个scala-2.10构建,但是我做了一个scala-2.11构建。我尝试了明显的-Dscala-2.11标志,但这并没有改变任何东西。文档没有提及有关如何在scala 2.11的独立模式下运行的任何内容。

提前致谢!

最佳答案

构建之前,您必须在以下位置运行脚本:

dev/change-version-to-2.11.sh



应该用2.11替换对2.10的引用。

Note that this will not necessarily work as intended with non-GNU sed (e.g. OS X)

关于scala - 使用Scala 2.11在独立模式下运行Spark?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29658482/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com