apache-spark - 无法访问 Kubernetes 端点

Question

我根据这个例子在 Kubernetes 上启动 Spark:https://github.com/kubernetes/kubernetes/tree/master/examples/spark

出于某种原因，我无法让主人收听 :7077用于来自工作节点的连接。似乎没有从服务中代理连接。如果我启动服务，则使用 $SPARK_MASTER_IP 启动主 Controller 设置为 spark-master，它可以正确解析为服务 IP，但无法绑定(bind)端口。如果我将 ip 设置为 localhost，它会绑定(bind)一个本地端口并出现 --因为服务应该将套接字连接转发到 pod 端点，这应该没问题，所以我们继续。

现在我培养 worker 。他们尝试连接到 :7077 上的服务 IP并且不能。似乎与服务的连接并没有到达端点。除了...

我还配置了一个 webui 服务，如示例中所示。如果我使用 kubectl --proxy 连接到它，我可以进入 :8080 上提供的 Web 服务。来自 spark-master，通过 webui 服务点击它。然而，port 7077 上几乎相同配置的 spark-master 服务没有爱。如果我将主服务器配置为绑定(bind)本地 IP，它会出现但不会从服务获得连接。如果我将其配置为通过服务绑定(bind)，则绑定(bind)失败并且根本无法启动。

我对为什么会发生这种情况没有任何想法--任何帮助表示赞赏。我很乐意应要求提供更多调试信息。

Answer 1

很抱歉，Spark 示例在多个方面被破坏了。

问题:
https://github.com/kubernetes/kubernetes/issues/17463

它现在可以工作了，截至 2016 年 2 月 25 日，并且正在通过我们的持续测试，至少在 HEAD(以及下一个 Kubernetes 1.2 版本)。

请注意，DNS 是必需的，尽管它在许多云提供商实现中默认设置，包括 GCE 和 GKE。