apache-spark - 如何在 Mesosphere 集群上运行 PySpark(可能以客户端模式)？

Question

我正在尝试在 Mesosphere 集群上运行 PySpark 作业，但我似乎无法让它运行。据我了解，Mesos 不支持 PySpark 应用程序的集群部署模式，并且需要在客户端模式下运行。我相信这就是问题所在。

当我尝试提交 PySpark 作业时，我得到以下输出。

... socket.hpp:107] Shutdown failed on fd=48: Transport endpoint is not connected [107]

我认为在客户端模式下运行的 Spark 作业需要直接连接到节点，而这被阻止了？

我需要更改哪些配置才能在客户端模式下运行 PySpark 作业？

Answer 1

当在客户端模式下运行 PySpark 时(意味着驱动程序在您调用 Python 的地方运行)，驱动程序将成为 Mesos 框架。发生这种情况时，运行框架的主机需要能够连接到集群中的所有节点，并且它们需要能够重新连接，这意味着没有 NAT。

如果这确实是问题的原因，那么有两个环境变量可能有用。如果您可以安装 VPN，则可以将 LIBPROCESS_IP 和 SPARK_LOCAL_IP 设置为集群节点可用来连接回驱动程序的主机的 IP。