java - 在哪里可以设置spark.eventLog.enabled？

Question

我想测试 Spark 中的机器学习库 Mllib 并在 Eclipse 中建立一个依赖项的 Maven 项目。当我尝试编译this时例如，我收到以下异常:`ERROR SparkContext:初始化 SparkContext 时出错。

    ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your configuration
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:371)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2256)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:831)
    at org.apache.spark.sql.SparkSession$Builder$$anonfun$8.apply(SparkSession.scala:823)
    at scala.Option.getOrElse(Option.scala:121)
    at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:823)
    at testing.JavaLogisticRegressionSummaryExample.main(JavaLogisticRegressionSummaryExample.java:33)

有人建议将 spark.eventLog.enabled 设置得太假，但我在哪里设置这个值？

Answer 1

如果你在 Eclipse 中作为 java 程序运行，那么你可以像下面这样设置主 URL。当您创建具有依赖项的 jar 并使用 spar-submit 在 Spark 中运行时，您可以在命令中传递 master url。请参阅 Spark 文档。

SparkSession spark = SparkSession
  .builder()
  .appName("JavaLogisticRegressionSummaryExample")
  .config("spark.sql.warehouse.dir", "/file:C:/temp")//workaround for issue https://issues.apache.org/jira/browse/SPARK-15899
  .master("local[2]")
  .getOrCreate();