hadoop-yarn - Spark 中的 yarn 客户端模式是什么？

Question

Apache Spark最近更新了版本至0.8.1，新增了yarn-client模式。我的问题是，yarn-client 模式的真正含义是什么？在文档中它说:

With yarn-client mode, the application will be launched locally. Just like running application or spark-shell on Local / Mesos / Standalone mode. The launch method is also the similar with them, just make sure that when you need to specify a master url, use “yarn-client” instead

“本地启动”是什么意思？本地哪里？在 Spark 集群上？
和yarn-standalone模式具体有什么区别？

Answer 1

所以在 Spark 中你有两个不同的组件。有司机和 worker 。在 yarn 集群模式下，驱动程序在数据节点上远程运行，而工作程序在单独的数据节点上运行。在 yarn 客户端模式下，驱动程序位于启 Action 业的机器上，工作人员位于数据节点上。在本地模式下，驱动程序和工作人员位于开始作业的机器上。

当您运行 .collect() 时，来自工作节点的数据将被拉入驱动程序。这基本上是最后的处理发生的地方。

就我自己而言，我发现当我在家使用 VPN 时，yarn-cluster 模式更好，但当我从数据中心内运行代码时，yarn-client 模式更好。

Yarn-client 模式还意味着您可以为驱动程序少绑定(bind)一个工作节点。