apache-spark - 如何为 Apache Spark 集群手动部署 3rd 方实用程序 jar？

Question

我有一个 Apache Spark 集群(多节点)，我想手动将一些实用程序 jar 部署到每个 Spark 节点。我应该把这些 jar 放在哪里？
例如:spark-streaming-twitter_2.10-1.6.0.jar

我知道我们可以使用 maven 构建一个包含这些 jar 的胖 jar，但是我想手动部署这些实用程序。这样，程序员就不必部署这些实用程序 jar。

有什么建议吗？

Answer 1

1、将你的第 3 方 jars 复制到保留的 HDFS 目录；
例如 hdfs://xxx-ns/user/xxx/3rd-jars/
2、在spark-submit中，使用hdfs路径指定这些jar；hdfs: - 执行器将从 hdfs 目录中拉取文件和 JAR

--jars hdfs://xxx-ns/user/xxx/3rd-jars/xxx.jar  

3、spark-submit 不会重复上传这些jar

Client: Source and destination file systems are the same. Not copying hdfs://xxx-ns/user/xxx/3rd-jars/xxx.jar