scala - 错误 : Must specify a primary resource (JAR or Python file) - Spark scala

Question

我正在尝试运行一个简单的 twitter 情绪分析代码，该代码到目前为止运行良好，但我不知道发生了什么变化，这给了我这个错误。我的命令行包含所有必需的参数，包括 --class --master --jars 等。我做的唯一不同的是运行 sudo apt-get install 7-jdk 命令并更新了 java 版本。我正在运行 spark 1.3.1 所以这个 java 更新应该不是问题......我想。现在，即使我运行诸如 sbt assembly 或 sbt run 之类的命令，我也会收到一条错误消息，指出程序集不是已知命令。

这是我的命令行:

./bin/spark-submit --class Sentimenter --master local[4] --jars /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar

这是我得到的输出:

Error: Must specify a primary resource (JAR or Python file) Run with --help for usage help or --verbose for debug output Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

任何建议都会很棒!

Answer 1

来自 spark-submit --help :
Usage: spark-submit [options] <app jar | python file> [app arguments]

您需要在命令行上的选项之后添加一个 jar 或 python 文件。所以，在你的例子中，你需要做

./bin/spark-submit --class Sentimenter --master local[4] /home/ubuntu/spark/spark-example-master/target/scala-2.10/Sentiment_Analysis-assembly-1.0.jar

请注意，我删除了 --jars .您可以这样做以添加其他 jar(依赖项)。如果你只有一个 jar，那么它就是主要资源并且在没有任何的命令行上运行 --jars选项。