scala - Spark Yarn 架构

Question

我对我正在学习的教程中的这张图片有疑问。因此，基于 yarn 架构中的这张图片，spark 应用程序的执行看起来像这样:

首先，您有一个在客户端节点或某个数据节点上运行的驱动程序。在这个驱动程序中(类似于 java 中的驱动程序？)包含您提交给 Spark 上下文的代码(用 java、python、scala 等编写)。然后该 spark 上下文表示与 HDFS 的连接，并将您的请求提交给 Hadoop 生态系统中的资源管理器。然后资源管理器与名称节点通信，以确定集群中哪些数据节点包含客户端节点请求的信息。 spark 上下文还将在将运行任务的工作节点上放置一个执行程序。然后节点管理器将启动执行器，该执行器将运行 Spark 上下文给它的任务，并将客户端从 HDFS 请求的数据返回给驱动程序。

以上解释是否正确？

由于 HDFS 中的数据在各个数据节点上复制了 3 次，因此驱动程序还会向每个数据节点发送三个执行程序以从 HDFS 检索数据吗？

Answer 1

您的解释接近实际，但您似乎在某些点上有点困惑。

让我们看看我能否让您更清楚这一点。

假设您有 Scala 中的字数统计示例。

object WordCount {
    def main(args: Array[String]) {
      val inputFile = args(0)
      val outputFile = args(1)
      val conf = new SparkConf().setAppName("wordCount")

      val sc = new SparkContext(conf)

      val input =  sc.textFile(inputFile)

      val words = input.flatMap(line => line.split(" "))

      val counts = words.map(word => (word, 1)).reduceByKey{case (x, y) => x + y}

      counts.saveAsTextFile(outputFile)
    }
}

在每个 Spark 作业中，您都有一个初始化步骤，在该步骤中，您创建一个 SparkContext 对象，提供一些配置，例如应用程序名称和主机，然后您读取一个输入文件，对其进行处理，并将处理结果保存在磁盘上。除了进行实际处理的匿名函数(传递给 .flatMap、.map 和 reduceByKey 的函数)和在集群上远程运行的 I/O 函数 textFile 和 saveAsTextFile 之外，所有这些代码都在驱动程序中运行。

此处的 DRIVER 是为在您使用 spark-submit 提交代码的同一节点上本地运行的程序部分指定的名称(在您的图片中称为客户端节点)。只要您具有对 YARN 集群的 spark-submit 和网络访问权限，您就可以从任何机器(ClientNode、WorderNode 甚至 MasterNode)提交代码。为简单起见，我假设客户端节点是您的笔记本电脑，而 Yarn 集群由远程机器组成。

为简单起见，我将省略 Zookeeper，因为它用于为 HDFS 提供高可用性，并且不参与运行 spark 应用程序。不得不提的是，Yarn Resource Manager 和 HDFS Namenode 是 Yarn 和 HDFS 中的角色(实际上它们是在 JVM 中运行的进程)，它们可以存在于同一个主节点上，也可以存在于不同的机器上。即使 Yarn 节点管理器和数据节点只是角色，但它们通常位于同一台机器上以提供数据局部性(在靠近数据存储位置的地方进行处理)。

当你提交你的应用程序时，你首先联系资源管理器，它与 NameNode 一起尝试找到可用的工作节点来运行你的 spark 任务。为了利用数据局部性原则，资源管理器将优先选择存储在同一台机器上的工作节点 HDFS block (每个 block 的 3 个副本中的任何一个)用于您必须处理的文件。如果没有包含这些 block 的工作节点可用，它将使用任何其他工作节点。在这种情况下，由于数据在本地不可用，HDFS block 必须通过网络从任何数据节点移动到运行 spark 任务的节点管理器。这个过程是针对生成文件的每个 block 完成的，因此一些 block 可以在本地找到，一些必须移动。

当 ResourceManager 找到一个可用的工作节点时，它将联系该节点上的 NodeManager 并要求它创建一个 Yarn 容器 (JVM) 以在其中运行 spark 执行程序。在其他集群模式(Mesos 或 Standalone)中，您不会有 Yarn 容器，但 spark 执行器的概念是相同的。 Spark 执行器作为 JVM 运行，可以运行多个任务。

在客户端节点上运行的驱动程序和在 spark 执行器上运行的任务保持通信以运行您的作业。如果驱动程序正在您的笔记本电脑上运行并且您的笔记本电脑崩溃，您将失去与任务的连接并且您的作业将失败。这就是为什么当 spark 在 Yarn 集群中运行时，您可以指定是要在笔记本电脑上运行驱动程序“--deploy-mode=client”还是在 yarn 集群上作为另一个 yarn 容器“--deploy-mode=cluster” ”。有关详细信息，请参阅 spark-submit