amazon-web-services - 在 Amazon EMR 4.0.0 上，设置/etc/spark/conf/spark-env.conf 无效

Question

我正在 Amazon EMR 上启动基于 spark 的 hiveserver2，它具有额外的类路径依赖性。由于 Amazon EMR 中的这个错误:

https://petz2000.wordpress.com/2015/08/18/get-blas-working-with-spark-on-amazon-emr/

我的类路径无法通过“--driver-class-path”选项提交

所以我必须修改/etc/spark/conf/spark-env.conf 以添加额外的类路径:

# Add Hadoop libraries to Spark classpath
SPARK_CLASSPATH="${SPARK_CLASSPATH}:${HADOOP_HOME}/*:${HADOOP_HOME}/../hadoop-hdfs/*:${HADOOP_HOME}/../hadoop-mapreduce/*:${HADOOP_HOME}/../hadoop-yarn/*:/home/hadoop/git/datapassport/*"

“/home/hadoop/git/datapassport/*”是我的类路径。

但是启动服务器成功后，Spark环境参数显示我的修改无效:

spark.driver.extraClassPath :/usr/lib/hadoop/*:/usr/lib/hadoop/../hadoop-hdfs/*:/usr/lib/hadoop/../hadoop-mapreduce/*:/usr/lib/hadoop/../hadoop-yarn/*:/etc/hive/conf:/usr/lib/hadoop/../hadoop-lzo/lib/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*

这个配置文件过时了吗？新文件在哪里以及如何解决这个问题？

Answer 1

您可以使用 --driver-classpath。

从新的 EMR 集群在主节点上启动 spark-shell。

spark-shell --master yarn-client
scala> sc.getConf.get("spark.driver.extraClassPath")
res0: String = /etc/hadoop/conf:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop-yarn/*:/usr/lib/hadoop-lzo/lib/*:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*

使用 --bootstrap-action 将您的 JAR 文件添加到 EMR 集群。

当您调用 spark-submit 时，将您的 JAR 文件添加到您从 spark-shell 获得的 extraClassPath 的值中

spark-submit --master yarn-cluster --driver-classpath /home/hadoop/my-custom-jar.jar:/etc/hadoop/conf:/usr/lib/hadoop/*:/usr/lib/hadoop-hdfs/*:/usr/lib/hadoop-yarn/*:/usr/lib/hadoop-lzo/lib/*:/usr/share/aws/aws-java-sdk/*:/usr/share/aws/emr/emrfs/conf:/usr/share/aws/emr/emrfs/lib/*:/usr/share/aws/emr/emrfs/auxlib/*

这对我使用 EMR 版本 4.1 和 4.2 很有效。

构建 spark.driver.extraClassPath 的过程可能会在不同版本之间发生变化，这可能是 SPARK_CLASSPATH 不再起作用的原因。