kubernetes - 如何为 kubelet 服务器证书启用自动 CSR 批准？

Question

[在 k8s 讨论论坛上交叉发布——如果这被认为是不好的形式，我们深表歉意。]

问候!

通过 Kubernetes The Hard Way 建立了一个新的 1.13.3 集群，再加上 TLS 引导的额外配置，我正在努力获得 kubelet 的自动批准服务器 证书。客户端证书启动良好，kubelet -> apiserver 通信工作顺利，但 apiserver -> kubelet 通信是手头的问题。

正在请求服务器证书，但它们被卡住等待手动干预，而且我无法像客户端 CSR 一样预测自动批准服务器 CSR 所需的 RBAC 咒语。

以下是 CSR(在刚刚重新实例化集群之后):

NAME                                                   AGE   REQUESTOR                      CONDITION
csr-m7rjs                                              4s    system:node:k8s-lab3-worker1   Pending
node-csr-aTpBsagYzYaZYJM6iGMN5AvqzVXATDj1BrmZs_dZCJA   5s    system:bootstrap:ec5591        Approved,Issued

此时显然 apiserver -> kubelet 通信(通过 kubectl exec 或 logs )失败。如果我手动批准证书，一切都会按预期进行。

客户端和服务器 CSR 都被发布的事实让我相信 kubelet 配置正确(加上手动批准的事实)。

触发我的蜘蛛侠感觉的主要事​​情是，当 apiserver 第一次启动时，我看到:

Feb  6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.697030    3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:nodeclient
Feb  6 00:14:13 k8s-lab3-controller1[3495]: I0206 00:14:13.706561    3495 storage_rbac.go:187] created clusterrole.rbac.authorization.k8s.io/system:certificates.k8s.io:certificatesigningrequests:selfnodeclient

客户端证书签名的集群角色由 apiserver 自动创建。但是 certificatesigningrequests:selfnodeserver 不是自动创建的。这是否表明实际上并未实现或支持服务器证书的自动批准？

好吧，我手动创建了它:

kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
  labels:
    kubernetes.io/bootstrapping: rbac-defaults
rules:
- apiGroups: ["certificates.k8s.io"]
  resources: ["certificatesigningrequests/selfnodeserver"]
  verbs: ["create"]

然后我将角色绑定(bind)到 system:nodes 组:

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: auto-approve-server-renewals-for-nodes
subjects:
- kind: Group
  name: system:nodes
  apiGroup: rbac.authorization.k8s.io
roleRef:
  kind: ClusterRole
  name: system:certificates.k8s.io:certificatesigningrequests:selfnodeserver
  apiGroup: rbac.authorization.k8s.io

可以肯定的是，system:nodes 是与服务器 CSR 关联的组之一:

$ kubectl get csr csr-m7rjs -o template --template {{.spec.groups}}
[system:nodes system:authenticated]

我已经尝试了几个小时的从 Stack Overflow 复制和粘贴的黑带级别(大多数建议确实适用于旧版本的 Kubernetes)，但无济于事。我希望这里的智囊团能发现我做错了什么。

如果它是相关的，这就是我启动 apiserver 的方式(这又是 v1.13.3，所以我是):

/usr/local/bin/kube-apiserver \
  --advertise-address=172.24.22.168 \
  --allow-privileged=true \
  --anonymous-auth=false \
  --apiserver-count=3 \
  --audit-log-maxage=30 \
  --audit-log-maxbackup=10 \
  --audit-log-maxsize=100 \
  --audit-log-path=/var/log/audit.log \
  --authorization-mode=Node,RBAC \
  --bind-address=0.0.0.0 \
  --client-ca-file=/etc/kubernetes/pki/ca.crt \
  --enable-admission-plugins=Initializers,NamespaceLifecycle,NodeRestriction,LimitRanger,ServiceAccount,DefaultStorageClass,ResourceQuota,AlwaysPullImages,DenyEscalatingExec,SecurityContextDeny,EventRateLimit \
  --admission-control-config-file=/etc/kubernetes/admissionconfig.yaml \
  --enable-bootstrap-token-auth=true \
  --enable-swagger-ui=true \
  --etcd-cafile=/etc/kubernetes/pki/ca.crt \
  --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt \
  --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key \
  --etcd-servers=https://172.24.22.168:2379 \
  --event-ttl=1h \
  --encryption-provider-config=/etc/kubernetes/encryption-config.yaml \
  --feature-gates=RotateKubeletServerCertificate=true \
  --insecure-port=0 \
  --kubelet-certificate-authority=/etc/kubernetes/pki/ca.crt \
  --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt \
  --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key \
  --kubelet-https=true \
  --profiling=false \
  --repair-malformed-updates=false \
  --runtime-config=api/all \
  --service-account-lookup=true \
  --service-account-key-file=/etc/kubernetes/pki/sa.crt  \
  --service-cluster-ip-range=10.32.0.0/24 \
  --service-node-port-range=30000-32767 \
  --tls-cert-file=/etc/kubernetes/pki/apiserver.crt \
  --tls-cipher-suites=TLS_ECDHE_ECDSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_RSA_WITH_AES_128_GCM_SHA256,TLS_ECDHE_ECDSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_RSA_WITH_AES_256_GCM_SHA384,TLS_ECDHE_RSA_WITH_CHACHA20_POLY1305,TLS_ECDHE_ECDSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_256_GCM_SHA384,TLS_RSA_WITH_AES_128_GCM_SHA256 \
  --tls-private-key-file=/etc/kubernetes/pki/apiserver.key \
  --v=2

(鉴于 RotateKubeletServerCertificate 从 1.12 开始默认为 true，我想 --feature-gates 参数是多余的，但我碰巧把它留在了里面。)

非常感谢您提供的任何帮助。

Answer 1

事实证明，服务器 CSR 的自动批准已被删除。

https://github.com/kubernetes/kubernetes/issues/73356

这么多。