apache-spark - 在Kubernetes中暴露Spark Worker(stdout stderr)日志

Question

我有一个Spark集群，其中一个Master和4个Worker在一个3 Node Kubernetes集群中运行。
Spark UI和Master通过Ingress / NodePort公开，因此可以从Kubernetes集群外部进行访问。

但是，工作端口未暴露。
因此，无法通过UI访问Worker日志(stdout和stderr)。
日志URL被重定向到<Worker1_Pod_IP:8080>，<Worker2_Pod_IP:8080>等。

我的设置是在同一台计算机上运行两个工作容器。因此，即使我的NodePort暴露了工作程序，端口也将发生冲突，因为将为计算机上的两个工作程序分配相同的端口。
Spark History服务器仅提供事件日志，而不提供辅助日志。

如何解决呢？有没有一种方法可以为工作人员动态分配NodePort值

Answer 1

我相信您是在谈论SPARK_WORKER_WEBUI_PORT，而不是如下所述的SPARK_WORKER_PORT，因为它分配了一个随机端口。



这有点棘手，因为每个节点只能公开一个端口。如果每个节点有两个Spark Worker，则可以为节点创建两个部署，一个部署在SPARK_WORKER_WEBUI_PORT上公开8081，另一个在8082上公开，并确保每个节点仅调度一个Pod。

您可以在container environment varialbles中传递这些值