CFSDN坚持开源创造价值，我们致力于搭建一个资源共享平台，让每一个IT人在这里找到属于你的精彩世界.

这篇CFSDN的博客文章说说 Kubernetes 是怎么实现服务发现的由作者收集整理，如果你对这篇文章有兴趣，记得点赞哟.

我们来说说 Kubernetes 的服务发现。那么首先这个大前提是同主机通信以及跨主机通信都是 ok 的，即同一 Kubernetes 集群中各个 Pod 都是互通的。这点是由更底层的方案实现，包括 docker0/CNI 网桥、Flannel vxlan/host-gw 模式等，在此篇就不展开讲了.

在各 Pod 都互通的前提下，我们可以通过访问 podIP 来调用 Pod 上的资源，那么离服务发现还有多少距离呢?首先 Pod 的 IP 不是固定的，另一方面我们访问一组 Pod 实例的时候往往会有负载均衡的需求，那么 Service 对象就是用来解决此类问题的.

集群内通信

Endpoints

Service 首先解决的是集群内通信的需求，首先我们编写一个普通的 deployment:

1. apiVersion: apps/v1 
2. kind: Deployment 
3. metadata: 
4. name: hostnames 
5. spec: 
6. selector: 
7. matchLabels: 
8.   app: hostnames 
9. replicas: 3 
10. template: 
11. metadata: 
12.   labels: 
13.     app: hostnames 
14. spec: 
15.   containers: 
16.     - name: hostnames 
17.       image: mirrorgooglecontainers/serve_hostname 
18.       ports: 
19.         - containerPort: 9376 
20.           protocol: TCP 

这个应用干的事儿就是访问它是返回自己的 hostname，并且每个 Pod 都带上了 APP 为 hostnames 的标签.

那么我们为这些 pod 编写一个普通的 Service:

1. apiVersion: v1 
2. kind: Service 
3. metadata: 
4. name: hostnames 
5. spec: 
6. selector: 
7. app: hostnames 
8. ports: 
9. - name: default 
10.   protocol: TCP 
11.   port: 80 
12.   targetPort: 9376 

可以看到 Service 通过 selector 选择 了带相应的标签 Pod，而这些被选中的 Pod，成为 Endpoints，我们可以试一下:

1. ~/cloud/k8s kubectl get ep hostnames 
2. NAME        ENDPOINTS 
3. hostnames   172.28.21.66:9376,172.28.29.52:9376,172.28.70.13:9376 

当某一个 Pod 出现问题，不处于 running 状态或者 readinessProbe 未通过时，Endpoints 列表会将其摘除.

ClusterIP

以上我们有了 Service 和 Endpoints，而默认创建 Service 的类型是 ClusterIP 类型，我们查看一下之前创建的 Service:

1. ~ kubectl get svc hostnames 
2. NAME        TYPE        CLUSTER-IP     EXTERNAL-IP   PORT(S)   AGE 
3. hostnames   ClusterIP   10.212.8.127   <none>        80/TCP    8m2s 

我们看到 ClusterIP 是 10.212.8.127，那么我们此时可以在 Kubernetes 集群内通过这个地址访问到 Endpoints 列表里的任意 Pod:

1. sh-4.2# curl 10.212.8.127 
2. hostnames-8548b869d7-9qk6b 
3. sh-4.2# curl 10.212.8.127 
4. hostnames-8548b869d7-wzksp 
5. sh-4.2# curl 10.212.8.127 
6. hostnames-8548b869d7-bvlw8 

访问了三次 ClusterIP 地址，返回了三个不同的 hostname，我们意识到 ClusterIP 模式的 Service 自动对请求做了 round robin 形式的负载均衡.

对于此时 ClusterIP 模式 Serivice 来说，它有一个 A 记录是 service-name.namespace-name.svc.cluster.local，指向 ClusterIP 地址:

1. sh-4.2# nslookup hostnames.coops-dev.svc.cluster.local 
2. Server:     10.212.0.2 
3. Address:    10.212.0.2#53 
4.  
5. Name:   hostnames.coops-dev.svc.cluster.local 
6. Address: 10.212.8.127 

理所当然我们通过此 A 记录去访问得到的效果一样:

1. sh-4.2# curl hostnames.coops-dev.svc.cluster.local 
2. hostnames-8548b869d7-wzksp 

那对 Pod 来说它的 A 记录是啥呢，我们可以看一下:

1. sh-4.2# nslookup 172.28.21.66  
2. 66.21.28.172.in-addr.arpa name = 172-28-21-66.hostnames.coops-dev.svc.cluster.local. 

Headless service

Service 的 CluserIP 默认是 Kubernetes 自动分配的，当然也可以自己设置，当我们将 CluserIP 设置成 None 的时候，它就变成了 Headless service.

Headless service 一般配合 StatefulSet 使用。StatefulSet 是一种有状态应用的容器编排方式，其核心思想是给予 Pod 指定的编号名称，从而让 Pod 有一个不变的唯一网络标识码。那这么说来，使用 CluserIP 负载均衡访问 Pod 的方式显然是行不通了，因为我们渴望通过某个标识直接访问到 Pod 本身，而不是一个虚拟 vip.

这个时候我们其实可以借助 DNS，每个 Pod 都会有一条 A 记录 pod-name.service-name.namespace-name.svc.cluster.local 指向 podIP，我们可以通过这条 A 记录直接访问到 Pod.

我们编写相应的 StatefulSet 和 Service 来看一下:

1. --- 
2. apiVersion: apps/v1 
3. kind: StatefulSet 
4. metadata: 
5. name: hostnames 
6. spec: 
7. serviceName: "hostnames" 
8. selector: 
9. matchLabels: 
10.   app: hostnames 
11. replicas: 3 
12. template: 
13. metadata: 
14.   labels: 
15.     app: hostnames 
16. spec: 
17.   containers: 
18.     - name: hostnames 
19.       image: mirrorgooglecontainers/serve_hostname 
20.       ports: 
21.         - containerPort: 9376 
22.           protocol: TCP 
23.  
24. --- 
25. apiVersion: v1 
26. kind: Service 
27. metadata: 
28. name: hostnames 
29. spec: 
30. selector: 
31. app: hostnames 
32. clusterIP: None 
33. ports: 
34. - name: default 
35.   protocol: TCP 
36.   port: 80 
37.   targetPort: 9376 

如上，StatefulSet 和 deployment 并没有什么不同，多了一个字段 spec.serviceName，这个字段的作用就是告诉 StatefulSet controller，在逻辑处理时使用 hostnames 这个 Service 来保证 Pod 的唯一可解析性.

当你执行 apply 之后，一会你就可以看到生成了对应的 Pod:

1. ~ kubectl get pods -w -l app=hostnames 
2. NAME          READY   STATUS    RESTARTS   AGE 
3. hostnames-0   1/1     Running   0          9m54s 
4. hostnames-1   1/1     Running   0          9m28s 
5. hostnames-2   1/1     Running   0          9m24s 

如意料之中，这里对 Pod 名称进行了递增编号，并不重复，同时这些 Pod 的创建过程也是按照编号依次串行进行的。我们知道，使用 deployment 部署的 Pod 名称会加上 replicaSet 名称和随机数，重启后是不断变化的。而这边使用 StatefulSet 部署的 Pod，虽然 podIP 仍然会变化，但名称是一直不会变的，基于此我们得以通过固定的 DNS A 记录来访问到每个 Pod.

那么此时，我们来看一下 Pod 的 A 记录:

1. sh-4.2# nslookup hostnames-0.hostnames 
2. Server:     10.212.0.2 
3. Address:    10.212.0.2#53 
4.  
5. Name:   hostnames-0.hostnames.coops-dev.svc.cluster.local 
6. Address: 172.28.3.57 
7.  
8. sh-4.2# nslookup hostnames-1.hostnames 
9. Server:     10.212.0.2 
10. Address:    10.212.0.2#53 
11.  
12. Name:   hostnames-1.hostnames.coops-dev.svc.cluster.local 
13. Address: 172.28.29.31 
14.  
15. sh-4.2# nslookup hostnames-2.hostnames 
16. Server:     10.212.0.2 
17. Address:    10.212.0.2#53 
18.  
19. Name:   hostnames-2.hostnames.coops-dev.svc.cluster.local 
20. Address: 172.28.23.31 

和之前的推论一致，我们可以通过 pod-name.service-name.namespace-name.svc.cluster.local 这条 A 记录访问到 podIP，在同一个 namespace 中，我们可以简化为 pod-name.service-name.

而这个时候，Service 的 A 记录是什么呢:

1. sh-4.2# nslookup hostnames 
2. Server:     10.212.0.2 
3. Address:    10.212.0.2#53 
4.  
5. Name:   hostnames.coops-dev.svc.cluster.local 
6. Address: 172.28.29.31 
7. Name:   hostnames.coops-dev.svc.cluster.local 
8. Address: 172.28.3.57 
9. Name:   hostnames.coops-dev.svc.cluster.local 
10. Address: 172.28.23.31 

原来是 Endpoints 列表里的一组 podIP，也就是说此时你依然可以通过service-name.namespace-name.svc.cluster.local这条 A 记录来负载均衡地访问到后端 Pod.

iptables

或多或少我们知道 Kubernetes 里面的 Service 是基于 kube-proxy 和 iptables 工作的。Service 创建之后可以被 kube-proxy 感知到，那么它会为此在宿主机上创建对应的 iptables 规则.

以 CluserIP 模式的 Service 为例，首先它会创建一条 KUBE-SERVICES 规则作为入口:

1. -A KUBE-SERVICES -d 10.212.8.127/32 -p tcp -m comment --comment "default/hostnames: cluster IP" -m tcp --dport 80 -j KUBE-SVC-NWV5X2332I4OT4T3 

这条记录的意思是：所有目的地址是 10.212.8.127 这条 CluserIP 的，都将跳转到 KUBE-SVC iptables 链处理.

那么我们来看 KUBE-SVC 链都是什么:

1. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.33332999982 -j KUBE-SEP-WNBA2IHDGP2BOBGZ 
2. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -m statistic --mode random --probability 0.50000000000 -j KUBE-SEP-X3P2623AGDH6CDF3 
3. -A KUBE-SVC-NWV5X2332I4OT4T3 -m comment --comment "default/hostnames:" -j KUBE-SEP-57KPRZ3JQVENLNBR 

这组规则其实是用于负载均衡的，我们看到了--probability 依次是 1/3、1/2、1，由于 iptables 规则是自上而下匹配的，所以设置这些值能保证每条链匹配到的几率一样。处理完负载均衡的逻辑后，又分别将请求转发到了另外三条规则，我们来看一下:

1. -A KUBE-SEP-57KPRZ3JQVENLNBR -s 172.28.21.66/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000  
2. -A KUBE-SEP-57KPRZ3JQVENLNBR -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 172.28.21.66:9376 
3.  
4. -A KUBE-SEP-WNBA2IHDGP2BOBGZ -s 172.28.29.52/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000  
5. -A KUBE-SEP-WNBA2IHDGP2BOBGZ -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 172.28.29.52:9376 
6.  
7. -A KUBE-SEP-X3P2623AGDH6CDF3 -s 172.28.70.13/32 -m comment --comment "default/hostnames:" -j MARK --set-xmark 0x00004000/0x00004000  
8. -A KUBE-SEP-X3P2623AGDH6CDF3 -p tcp -m comment --comment "default/hostnames:" -m tcp -j DNAT --to-destination 172.28.70.13:9376 

可以看到 KUBE-SEP 链就是三条 DNAT 规则，并在 DNAT 之前设置了一个 0x00004000 的标志。DNAT 规则就是在 PREROUTING，即路由作用之前，将请求的目的地址和端口改为 --to-destination 指定的 podIP 和端口。这样一来，我们起先访问 10.212.8.127 这个 CluserIP 的请求，就会被负载均衡到各个 Pod 上.

那么 Pod 重启了，podIP 变了怎么办?自然是 kube-proxy 负责监听 Pod 变化以及更新维护 iptables 规则了.

而对于 Headless service 来说，我们直接通过固定的 A 记录访问到了 Pod，自然不需要这些 iptables 规则了.

iptables 理解起来比较简单，但实际上性能并不好。可以想象，当我们的 Pod 非常多时，成千上万的 iptables 规则将被创建出来，并不断刷新，会占用宿主机大量的 CPU 资源。一个行之有效的方案是基于 IPVS 模式的 Service，IPVS 不需要为每个 Pod 都设置 iptables 规则，而是将这些规则都放到了内核态，极大降低了维护这些规则的成本.

集群间通信

外界访问 Service

以上我们讲了请求怎么在 Kubernetes 集群内互通，主要基于 kube-dns 生成的 DNS 记录以及 kube-proxy 维护的 iptables 规则。而这些信息都是作用在集群内的，那么自然我们从集群外访问不到一个具体的 Service 或者 Pod 了.

Service 除了默认的 CluserIP 模式外，还提供了很多其他的模式，比如 nodePort 模式，就是用于解决该问题的.

1. apiVersion: v1 
2. kind: Service 
3. metadata: 
4. name: hostnames 
5. spec: 
6. selector: 
7. app: hostnames 
8. type: NodePort 
9. ports: 
10. - nodePort: 8477 
11.   protocol: TCP 
12.   port: 80 
13.   targetPort: 9376 

我们编写了一个 NodePort 模式的 Service，并且设置 NodePort 为 8477，那么意味着我们可以通过任意一台宿主机的 8477 端口访问到 hostnames 这个 Service.

1. sh-4.2# curl 10.1.6.25:8477 
2. hostnames-8548b869d7-j5lj9 
3. sh-4.2# curl 10.1.6.25:8477 
4. hostnames-8548b869d7-66vnv 
5. sh-4.2# curl 10.1.6.25:8477 
6. hostnames-8548b869d7-szz4f 

我们随便找了一台 Node 地址去访问，得到了相同的返回配方.

那么这个时候它的 iptables 规则是怎么作用的呢:

1. -A KUBE-NODEPORTS -p tcp -m comment --comment "default/hostnames: nodePort" -m tcp --dport 8477 -j KUBE-SVC-67RL4FN6JRUPOJYM 

kube-proxy 在每台宿主机上都生成了如上的 iptables 规则，通过 --dport 指定了端口，访问该端口的请求都会跳转到 KUBE-SVC 链上，KUBE-SVC 链和之前 CluserIP Service 的配方一样，接下来就和访问 CluserIP Service 没什么区别了.

不过还需要注意的是，在请求离开当前宿主机发往其他 Node 时会对其做一次 SNAT 操作:

1. -A KUBE-POSTROUTING -m comment --comment "kubernetes service traffic requiring SNAT" -m mark --mark 0x4000/0x4000 -j MASQUERADE 

可以看到这条 postrouting 规则给即将离开主机的请求进行了一次 SNAT，判断条件为带有 0x4000 标志，这就是之前 DNAT 带的标志，从而判断请求是从 Service 转发出来的，而不是普通请求.

需要做 SNAT 的原因很简单，首先这是一个外部的未经 Kubernetes 处理的请求，如果它访问 node1，node1 的负载均衡将其转发给 node2 上的某个 Pod，这没什么问题，而这个 Pod 处理完后直接返回给外部 client，那么外部 client 就很疑惑，明明自己访问的是 node1，给自己返回的确是 node2，这时往往会报错.

SNAT 的作用与 DNAT 相反，就是在请求从 node1 离开发往 node2 时，将源地址改为 node1 的地址，那么当 node2 上的 Pod 返回时，会返回给 node1，然后再让 node1 返回给 client.

1. client 
2.             | ^ 
3.             | | 
4.             v | 
5. node 2 <--- node 1 
6. | ^   SNAT 
7. | |   ---> 
8. v | 
9. endpoints 

Service 还有另外 2 种通过外界访问的方式。适用于公有云的 LoadBalancer 模式的 service，公有云 Kubernetes 会调用 CloudProvider 在公有云上为你创建一个负载均衡服务，并且把被代理的 Pod 的 IP 地址配置给负载均衡服务做后端。另外一种是 ExternalName 模式，可以通过在 spec.externalName 来指定你想要的外部访问域名，例如 hostnames.example.com，那么你访问该域名和访问 service-name.namespace-name.svc.cluser.local 效果是一样的，这时候你应该知道，其实 kube-dns 为你添加了一条 CNAME 记录.

Ingress

Service 有一种类型叫作 LoadBalancer，不过如果每个 Service 对外都配置一个负载均衡服务，成本很高而且浪费。一般来说我们希望有一个全局的负载均衡器，通过访问不同 url，转发到不同 Service 上，而这就是 Ingress 的功能，Ingress 可以看做是 Service 的 Service.

Ingress 其实是对反向代理的一种抽象，相信大家已经感觉到，这玩意儿和 Nginx 十分相似，实际上 Ingress 是抽象层，而其实现层其中之一就支持 Nginx.

我们可以部署一个 nginx ingress controller:

1. $ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/mandatory.yaml 

mandatory.yaml是官方维护的 ingress controller，我们看一下:

1. kind: ConfigMap 
2. apiVersion: v1 
3. metadata: 
4. name: nginx-configuration 
5. namespace: ingress-nginx 
6. labels: 
7. app.kubernetes.io/name: ingress-nginx 
8. app.kubernetes.io/part-of: ingress-nginx 
9. --- 
10. apiVersion: extensions/v1beta1 
11. kind: Deployment 
12. metadata: 
13. name: nginx-ingress-controller 
14. namespace: ingress-nginx 
15. labels: 
16. app.kubernetes.io/name: ingress-nginx 
17. app.kubernetes.io/part-of: ingress-nginx 
18. spec: 
19. replicas: 1 
20. selector: 
21. matchLabels: 
22.   app.kubernetes.io/name: ingress-nginx 
23.   app.kubernetes.io/part-of: ingress-nginx 
24. template: 
25. metadata: 
26.   labels: 
27.     app.kubernetes.io/name: ingress-nginx 
28.     app.kubernetes.io/part-of: ingress-nginx 
29.   annotations: 
30.     ... 
31. spec: 
32.   serviceAccountName: nginx-ingress-serviceaccount 
33.   containers: 
34.     - name: nginx-ingress-controller 
35.       image: quay.io/kubernetes-ingress-controller/nginx-ingress-controller:0.20.0 
36.       args: 
37.         - /nginx-ingress-controller 
38.         - --configmap=$(POD_NAMESPACE)/nginx-configuration 
39.         - --publish-service=$(POD_NAMESPACE)/ingress-nginx 
40.         - --annotations-prefix=nginx.ingress.kubernetes.io 
41.       securityContext: 
42.         capabilities: 
43.           drop: 
44.             - ALL 
45.           add: 
46.             - NET_BIND_SERVICE 
47.         # www-data -> 33 
48.         runAsUser: 33 
49.       env: 
50.         - name: POD_NAME 
51.           valueFrom: 
52.             fieldRef: 
53.               fieldPath: metadata.name 
54.         - name: POD_NAMESPACE 
55.         - name: http 
56.           valueFrom: 
57.             fieldRef: 
58.               fieldPath: metadata.namespace 
59.       ports: 
60.         - name: http 
61.           containerPort: 80 
62.         - name: https 
63.           containerPort: 443 

总的来说，我们定义了一个基于 nginx-ingress-controller 镜像的 Pod，而这个 Pod 自身，是一个监听 Ingress 对象及其代理后端 Service 变化的控制器.

当一个 Ingress 对象被创建时，nginx-ingress-controller 就会根据 Ingress 对象里的内容，生成一份 Nginx 配置文件(nginx.conf)，并依此启动一个 Nginx 服务.

当 Ingress 对象被更新时，nginx-ingress-controller 就会更新这个配置文件。nginx-ingress-controller 还通过 Nginx Lua 方案实现了 nginx upstream 的动态配置.

为了让外界可以访问到这个 Nginx，我们还得给它创建一个 Service 来把 Nginx 暴露出去:

1. $ kubectl apply -f https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/provider/baremetal/service-nodeport.yaml 

这里面的内容描述了一个 NodePort 类型的 Service:

1. apiVersion: v1 
2. kind: Service 
3. metadata: 
4. name: ingress-nginx 
5. namespace: ingress-nginx 
6. labels: 
7. app.kubernetes.io/name: ingress-nginx 
8. app.kubernetes.io/part-of: ingress-nginx 
9. spec: 
10. type: NodePort 
11. ports: 
12. - name: http 
13.   port: 80 
14.   targetPort: 80 
15.   protocol: TCP 
16. - name: https 
17.   port: 443 
18.   targetPort: 443 
19.   protocol: TCP 
20. selector: 
21. app.kubernetes.io/name: ingress-nginx 
22. app.kubernetes.io/part-of: ingress-nginx 

可以看到这个 Service 仅仅是把 Nginx Pod 的 80/443 端口暴露出去，完了你就可以通过宿主机 IP 和 NodePort 端口访问到 Nginx 了.

接下来我们来看 Ingress 对象一般是如何编写的，我们可以参考一个例子.

1. apiVersion: extensions/v1beta1 
2. kind: Ingress 
3. metadata: 
4. name: cafe-ingress 
5. spec: 
6. tls: 
7. - hosts: 
8. - cafe.example.com 
9. secretName: cafe-secret 
10. rules: 
11. - host: cafe.example.com 
12. http: 
13.   paths: 
14.   - path: /tea 
15.     backend: 
16.       serviceName: tea-svc 
17.       servicePort: 80 
18.   - path: /coffee 
19.     backend: 
20.       serviceName: coffee-svc 
21.       servicePort: 80 

这个 Ingress 表明我们整体的域名是 cafe.example.com，希望通过 cafe.example.com/tea 访问 tea-svc 这个 Service，通过 cafe.example.com/coffee 访问 coffee-svc 这个 Service。这里我们通过关键字段 spec.rules 来编写转发规则.

我们可以查看到 Ingress 对象的详细信息:

1. $ kubectl get ingress 
2. NAME           HOSTS              ADDRESS   PORTS     AGE 
3. cafe-ingress   cafe.example.com             80, 443   2h 
4.  
5. $ kubectl describe ingress cafe-ingress 
6. Name:             cafe-ingress 
7. Namespace:        default 
8. Address: 
9. Default backend:  default-http-backend:80 (<none>) 
10. TLS: 
11. cafe-secret terminates cafe.example.com 
12. Rules: 
13. Host              Path  Backends 
14. ----              ----  -------- 
15. cafe.example.com 
16.                 /tea      tea-svc:80 (<none>) 
17.                 /coffee   coffee-svc:80 (<none>) 
18. Annotations: 
19. Events: 
20. Type    Reason  Age   From                      Message 
21. ----    ------  ----  ----                      ------- 
22. Normal  CREATE  4m    nginx-ingress-controller  Ingress default/cafe-ingress 

我们之前讲了我们通过 NodePort 的方式将 nginx-ingress 暴露出去了，而这时候我们 Ingress 配置又希望通过 cafe.example.com 来访问到后端 Pod，那么首先 cafe.example.com 这个域名得指到任意一台宿主机 Ip:nodePort上，请求到达 nginx-ingress 之后再转发到各个后端 Service 上。当然，暴露 nginx-ingress 的方式有很多种，除了 NodePort 外还包括 LoadBalancer、hostNetwork 方式等等.

我们最后来试一下请求:

1. $ curl cafe.example.com/coffee 
2. Server name: coffee-7dbb5795f6-vglbv 
3. $ curl cafe.example.com/tea 
4. Server name: tea-7d57856c44-lwbnp 

可以看到 Nginx Ingress controller 已经为我们成功将请求转发到了对应的后端 Service。而当请求没有匹配到任何一条 ingress rule 的时候，理所当然我们会得到一个 404.

至此，Kubernetes 的容器网络是怎么实现服务发现的已经讲完了，而服务发现正是微服务架构中最核心的问题，解决了这个问题，那么使用 Kubernetes 来实现微服务架构也就实现了一大半.

原文地址：https://fredal.xin/kubertnetes-discovery 。

最后此篇关于说说 Kubernetes 是怎么实现服务发现的的文章就讲到这里了,如果你想了解更多关于说说 Kubernetes 是怎么实现服务发现的的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。