hadoop - HDFS 中的 Spark 类路径

Question

对于在 YARN(yarn-client)上运行的 Spark 作业，是否可以使用位于 HDFS 中的 jars 指定类路径

有点像 Map Reduce 作业是可能的:

DistributedCache.addFileToClassPath(Path file, Configuration conf, FileSystem fs)

Answer 1

来自 SparkContext 文档:

def addJar(path: String):Unit

Adds a JAR dependency for all tasks tobe executed on this SparkContext in the future. The path passed can beeither a local file, a file in HDFS (or other Hadoop-supportedfilesystems), an HTTP, HTTPS or FTP URI, or local:/path for a file onevery worker node.

所以我认为在你的 sparkContext 初始化中添加这个就足够了:

sc.addJar("hdfs://your/path/to/whatever.jar")

如果你只想添加一个文件，有一个相关的addFile()方法。

参见 docs了解更多。