apache-spark - 在 Apache Spark 中设置动态分配？

Question

我按照指示here用于为 YARN 资源管理器设置动态分配。

但是，我对第 3 步感到困惑:Add this jar to the classpath of all NodeManagers in your cluster.
这是否意味着转到每个节点服务器并将路径添加到 shuffle.jar至PATH环境变量？ export=$PATH:<loc-to-shuffle.jar> ?

Answer 1

Yarn 类路径意味着在所有节点管理器上，或者在包含逗号分隔的 CLASSPATH 条目列表的 yarn-site.xml 中设置 yarn.application.classpath。
当此值为空时，将使用 YARN 应用程序的以下默认 CLASSPATH。

对于 Linux:

$HADOOP_CONF_DIR, $HADOOP_COMMON_HOME/share/hadoop/common/*, $HADOOP_COMMON_HOME/share/hadoop/common/lib/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/*, $HADOOP_HDFS_HOME/share/hadoop/hdfs/lib/*, $HADOOP_YARN_HOME/share/hadoop/yarn/*, $HADOOP_YARN_HOME/share/hadoop/yarn/lib/*

对于 Windows:

%HADOOP_CONF_DIR%, %HADOOP_COMMON_HOME%/share/hadoop/common/*, %HADOOP_COMMON_HOME%/share/hadoop/common/lib/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/*, %HADOOP_HDFS_HOME%/share/hadoop/hdfs/lib/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/*, %HADOOP_YARN_HOME%/share/hadoop/yarn/lib/*

所以把 spark-<version>-yarn-shuffle.jar在 yarn.application.classpath 或默认类路径目录中定义的列出的类路径目录之一中。
也可以创建 spark-<version>-yarn-shuffle.jar的软链接(soft link)在 yarn 类路径目录之一中
希望这可以帮助...