java - 如何在cmd上提交spark应用

Question

我有一个最初使用 Maven(在 Windows 上)创建的 Spark 应用程序。我将我的 maven 项目转换为 Eclipse 项目，现在我正在通过 Eclipse 进行处理。
我能够通过 Eclipse 运行应用程序来利用和验证这一点。

现在，我正在尝试通过命令行提交我的申请。我使用 spark-submit 命令如下:

bin\spark-submit \  
  --class C:\Users\pc\Desktop\eclipse\myapp\src\main\java\myapp\Main.java \  
  --master local[8] \
  C:\Users\pc\Desktop\eclipse\myjar.jar

当我提交我的 jar 时，我收到一条错误消息说无法从 Jar 文件加载主类？

我做错了什么？
是不是我的主类路径(--class C:\Users\pc\Desktop\eclipse\myapp\src\main\java\myapp\Main.java)

Answer 1

--class: The entry point for your application (e.g. org.apache.spark.examples.SparkPi)

这不是本地硬盘上文件的路径。考虑一个分布式计算机集群。他们并非都有权访问您提供的文件路径。

看起来你应该使用 myapp.Main

JAR 文件也是如此。

application-jar: Path to a bundled jar including your application and all dependencies. The URL must be globally visible inside of your cluster, for instance, an hdfs:// path or a file:// path that is present on all nodes.