apache-spark - Spark命令中的--driver-class-path有什么用？

Question

根据 Spark docs ,

To get started you will need to include the JDBC driver for you particular database on the spark classpath. For example, to connect to postgres from the Spark Shell you would run the following command:

bin/spark-shell --driver-class-path postgresql-9.4.1207.jar --jars postgresql-9.4.1207.jar

没有 --driver-class-path 作业也能正常工作。那么spark命令中的--driver-class-path有什么用呢？

Answer 1

--driver-class-path 或 spark.driver.extraClassPath 可用于仅修改 Spark 驱动程序的类路径。这对于执行器不需要的库很有用(例如仅在本地使用的任何代码)。

相比之下，--jars 或 spark.jars 不仅会将 jar 添加到驱动程序和执行程序类路径中，还会在集群上分发存档。如果特定的 jar 仅由驱动程序使用，则这是不必要的开销。