hadoop - SparkContext 构造函数中的 appName 是什么，它的用途是什么？

Question

我是 Spark 的新手，我对 master url 旁边给出的这个 appName 有点困惑。我已经通过互联网搜索了它，但无法找到明确的答案。网上文章提到appName一旦创建就不能更改。因此，如果只有一个 sparkcontext 可用于单个 jvm，那么 appNames 的实际用途是什么……？

谁能给我解释清楚。

谢谢

Answer 1

Spark 架构有多个组件，如下所示。

• 驱动程序:这是驱动整个应用程序的捆绑 jar 应用程序。 Driver 与 Spark Master 实例对话，将您的作业提交到集群

• Spark Master:Master 充当驱动程序集群的单一联系点。它通过与集群管理器协商来为应用程序运行分配必要的资源。

• Executors/workers:它们是系统中实际处理您的 Dataframes/RDD 的主力。您的分布式数据。

Spark Master 可能同时处理由多个驱动程序应用程序提交的多个作业。要在集群中运行的数百个其他应用程序中监视/跟踪您的特定应用程序，您需要一个标识符。这是 appName 有用的地方。