kubernetes - 服务之间的间歇性 "connection refused"

Question

我在 3 个 n1-standard-4 GKE 实例上运行了大约 200 个 pod。流量水平较低，因此每台机器上都有大量备用 CPU 和 RAM。通常当服务尝试相互连接时，连接失败并显示“CONNECTION REFUSED”。几次重试后，连接工作正常。

如果我查看机器，我会在其中两台机器上看到 netstat -i在虚拟接口(interface)上返回相当多的 TX-DRP。

我想我的某种资源快用完了。任何想法这可能是什么或我如何去诊断/纠正它？
kubectl get po --namespace=kube-system -a
NAME READY STATUS RESTARTS AGE
event-exporter-v0.1.7-5c4d9556cf-ndvrp 0/2 Evicted 0 33d
event-exporter-v0.1.7-5c4d9556cf-nr9z4 2/2 Running 0 19d
fluentd-gcp-v2.0.9-4cfhb 2/2 Running 0 8d
fluentd-gcp-v2.0.9-hwp99 2/2 Running 16 33d
fluentd-gcp-v2.0.9-v9zg4 2/2 Running 16 33d
heapster-v1.4.3-699fc4bd5b-btgfk 3/3 Running 1 8d
kube-dns-778977457c-b97cw 3/3 Running 30 33d
kube-dns-778977457c-gpnj2 3/3 Running 65 33d
kube-dns-autoscaler-7db47cb9b7-w5mph 1/1 Running 8 33d
kube-proxy-gke-cluster-1-default-pool-522e7bcf-8h06 1/1 Running 8 33d
kube-proxy-gke-cluster-1-default-pool-522e7bcf-8p9w 1/1 Running 0 8d
kube-proxy-gke-cluster-1-default-pool-522e7bcf-kr1m 1/1 Running 8 33d
l7-default-backend-6497bcdb4d-zbvrn 1/1 Running 33 33d
tiller-deploy-5b9d65c7f-drmsg 1/1 Running 0 19d
tiller-deploy-5b9d65c7f-pdmp5 0/1 Evicted 0 31dkubectl get deployment --namespace=kube-system
NAME DESIRED CURRENT UP-TO-DATE AVAILABLE AGE
event-exporter-v0.1.7 1 1 1 1 33d
heapster-v1.4.3 1 1 1 1 33d
kube-dns 2 2 2 2 33d
kube-dns-autoscaler 1 1 1 1 33d
l7-default-backend 1 1 1 1 33d
tiller-deploy 1 1 1 1 31d


Answer 1

我在 EKS 中遇到了同样的问题并设法解决了它。
我最接近这个问题的是在目标主机上运行 wget 。运行 wget 时，我每次都可以通过环回连接，但只能通过 kube-proxy (http:// . .svc.cluster.local) 随机连接。
我连接到多维数据集代理时的日志如下所示:

  Connecting to node.sandbox.svc.cluster.local (10.100.116.39:80)
  wget: can't connect to remote host (10.100.116.39): Connection refused
  Connecting to node.sandbox.svc.cluster.local (10.100.116.39:80)
  wget: can't connect to remote host (10.100.116.39): Connection refused
  Connecting to node.sandbox.svc.cluster.local (10.100.116.39:80)
  wget: server returned error: HTTP/1.1 401 Unauthorized

我认为在我的情况下是因为 Kubernetes 版本，我从 1.18 到 1.19。重新部署 Helm 图表后，我收到了警告: W0831 13:05:52.108306 183539 warnings.go:70] networking.k8s.io/v1beta1 Ingress is deprecated in v1.19+, unavailable in v1.22+; use networking.k8s.io/v1 Ingress更新入口以纠正警告解决了该问题。我不再收到拒绝的连接。
我不相信这会解决你的问题，因为这个版本的 Kubernetes 不是在 2018 年发布的，但希望它会帮助其他人。 GKE 也可以自动打补丁，所以可能也有类似的问题。