amazon-web-services - EMR conf spark-默认设置

Question

我正在根据指南使用配置文件 Configure Spark在 AWS 上设置 EMR 配置，例如，更改 spark.executor.extraClassPath是通过以下设置:

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "/home/hadoop/mongo-hadoop-spark.jar",
     }
}

它运行良好，并进行更改 spark.executor.extraClassPath在 emr spark conf 上，但 emr 在 spark.executor.extraClassPath 中有一些预设的默认路径，而不是覆盖 spark.executor.extraClassPath .我想知道是否有办法附加路径并保留默认路径，例如

{
     "Classification": "spark-defaults",
     "Properties": {
         "spark.executor.extraClassPath": "{$extraClassPath}:/home/hadoop/mongo-hadoop-spark.jar",
     }
}

Answer 1

您可以在您的 emr 模板中指定它，如下所示

Classification: spark-defaults
          ConfigurationProperties:
            spark.jars: Your jar location