java - SparkContext setLocalProperties

Question

作为 this question 的延续, 你能告诉我我可以从 SparkContext.setLocalProperties 更改哪些属性吗？ ？ 我可以更换内核、RAM 等吗？

Answer 1

根据文档描述，localProperties 是 SparkContext 的 protected[spark] 属性，您可以通过这些属性创建逻辑作业团体。另一方面，它们是 Inheritable 线程局部变量。这意味着当变量中维护的每个线程属性必须自动传输到创建的任何子线程时，它们优先于普通线程局部变量使用。当 SparkContext 被请求运行或提交一个 Spark 作业，然后将它们传递给 DAGScheduler。

一般来说，本地属性用于通过 spark.scheduler.pool 每线程属性和方法 SQLExecution 在 FAIR 作业调度程序中将作业分组到池中.withNewExecutionId设置spark.sql.execution.id。

我没有在独立 spark 集群中分配线程本地属性的经验。值得尝试检查一下。