maven - 使用 maven 从 uber jar 中排除 Spark

Question

我如何只编译我的 spark 代码以放到远程服务器上而不打包我在 maven 中定义的 spark？我不需要任何 spark 依赖项，因为我在运行 spark-submit 时显然已经在服务器上安装了它。对 Maven 来说还是很新的。到目前为止，我正在考虑可能使用阴影插件，但不确定这是否是正确的方法。只是试图改进我在本地测试我的 spark 应用程序的工作流程，然后只需要打包一个 jar 以在远程服务器上运行。

Answer 1

您需要在您的依赖项中使用 provided 范围:

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-core_2.11</artifactId>
  <version>1.6.2</version>
  <scope>provided</scope>
</dependency>