gpt4 book ai didi

apache-spark - 如何从源代码正确构建 spark 2.0,以包含 pyspark?

转载 作者:行者123 更新时间:2023-12-04 04:18:16 28 4
gpt4 key购买 nike

我刚刚在 Ubuntu 主机上使用“sbt assembly”构建了 spark 2.0。一切都很好,但是,当我尝试提交 pyspark 作业时:

bin/spark-submit --master spark://localhost:7077 examples/src/main/python/pi.py 1000

我遇到了这个错误:

Failed to find Spark jars directory (/home/ubuntu/spark/spark-2.0.0/assembly/target/scala-2.10/jars).
You need to build Spark with the target "package" before running this program.

我应该怎么做才能重新构建 spark 2.0 以包含 pyspark?

最佳答案

尝试:

  1. Install sbt

  2. 构建:

    https://github.com/apache/spark.git
    cd spark
    git checkout v2.0.0
    sbt package

关于apache-spark - 如何从源代码正确构建 spark 2.0,以包含 pyspark?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38618460/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com