kubernetes - 使用 aws elb 作为控制平面端点时 kubeadm init 失败

Question

我正在尝试在 AWS 中配置一个 HA kubernetes 集群，但我一直没有成功地将 ELB 用于控制平面(现在是一个带有 TLS 监听器的 NLB，但已经尝试使用 ALB 和 HTTPS 作为出色地)。无论我做什么，它总是在 wait-control-plane 步骤上失败。如果我提高输出的详细程度，我可以看到它在此步骤中每秒 curl 我的负载均衡器端点，4 分钟后它失败了。没有任何迹象表明负载均衡器的响应是什么，这是我看到的输出示例:

curl -k -v -XGET  -H "Accept: application/json, */*" -H "User-Agent: kubeadm/v1.17.3 (linux/amd64) kubernetes/06ad960" 'https://<load-balancer-dns>:443/healthz?timeout=10s'
I0408 13:51:07.899477   27075 round_trippers.go:443] GET https://<load-balancer-dns>:443/healthz?timeout=10s  in 4 milliseconds
I0408 13:51:07.899497   27075 round_trippers.go:449] Response Headers:

(响应头之后什么都没有)

奇怪的是，当 init 正在运行时，我可以在浏览器中调出/healthz 端点，结果只显示一个显示“ok”的页面。我也可以从另一个终端窗口 curl 它，我得到一个 HTTP 200，一切看起来都很好。

更多细节 - 在 init 失败后，没有崩溃的 docker 容器。 Kubeadm 建议检查 kubelet 服务状态和日志，我看到这样的行:

E0408 14:50:36.738997   11649 reflector.go:153] k8s.io/client-go/informers/factory.go:135: Failed to list *v1beta1.CSIDriver: Get https://<load-balancer-dns>:443/apis/storage.k8s.io/v1beta1/csidrivers?limit=500&resourceVersion=0: x509: certificate signed by unknown authority

curl 该地址不会给我任何证书错误，但它确实会给我一个 403。证书应该是可信的，因为它的链是(我相信)正确导入的。所以我不确定为什么 kubelet 会提示它。

这个问题似乎与我正在使用的 --control-plane-endpoint 标志有关。 如果我只是让它默认为单个实例的 IP，kubeadm init 将成功完成并且集群已初始化，我可以将工作人员加入其中，等

FWIW，我的初始化命令如下所示:

kubeadm init --control-plane-endpoint "<load-balancer-dns>:<port>" --ignore-preflight-errors=ImagePull --apiserver-bind-port=30400 --v=10

我可以检查什么以尝试准确确定问题所在？

Answer 1

我在这里回答了一个类似的问题:https://stackoverflow.com/a/70799078/9284676

为您的 --control-plane-endpoint 使用 ELB 时在 HA master 场景中，您需要创建一个 Target Group使用类型 IP addresses而不是 Instances .该文本在创建目标组时很有帮助:

“促进路由到同一实例上的多个 IP 地址和网络接口(interface)。”

然后我能够使用此设置成功初始化我的集群:

kubeadm init --control-plane-endpoint "<myELBname>:6443" --upload-certs