kubernetes - 在 Docker-EE 上使用 Kubernetes 无法在 Pod 内标记 Pod

Question

我们在 Kubernetes 上使用 Apache-Kafka 部署，该部署基于在创建 pod 后对其进行标记的能力(请参阅 https://github.com/Yolean/kubernetes-kafka)。代理 Pod 的 init 容器利用此功能在其自身上设置标签，并将其自己的数字索引(例如“0”、“1”等)作为值。该标签用于服务描述符中以准确选择一个 Pod。

这种方法在我们的 DIND-Kubernetes 环境中运行良好。但是，当尝试将部署移植到 Docker-EE Kubernetes 环境时，我们遇到了麻烦，因为命令 kubectl label pod产生一个完全误导的运行时错误(另见 https://github.com/fabric8io/kubernetes-client/issues/853)。

为了在最小设置中验证运行时错误，我们创建了以下部署脚本。

第一步:使用 Docker-EE-Host 成功标记 pod

# create a simple pod as a test target for labeling
> kubectl run -ti -n default --image alpine sh

# get the pod name for all further steps
> kubectl -n default get pods

NAME                                READY     STATUS    RESTARTS   AGE
nfs-provisioner-7d49cdcb4f-8qx95    1/1       Running   1          7d
nginx-deployment-76dcc8c697-ng4kb   1/1       Running   1          7d
nginx-deployment-76dcc8c697-vs24j   1/1       Running   0          20d
sh-777f6db646-hrm65                 1/1       Running   0          3m      <--- This is the test pod
test-76bbdb4654-9wd9t               1/1       Running   2          6d
test4-76dbf847d5-9qck2              1/1       Running   0          5d

# get client and server versions
> kubectl version
Client Version: version.Info{Major:"1", Minor:"10", GitVersion:"v1.10.5", 
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean", 
BuildDate:"2018-06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"8+", GitVersion:"v1.8.11- docker-8d637ae", GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5", 
GitTreeState:"clean", BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc", Platform:"linux/amd64"}

# set label 
kubectl -n default label pod sh-777f6db646-hrm65 "mylabel=hallo"
pod "sh-777f6db646-hrm65" labeled                   <---- successful execution

一切正常。

第二步:从 pod 内重现运行时错误

创建包含 kubectl 的 Docker 镜像1.10.5

FROM debian:stretch- 
slim@sha256:ea42520331a55094b90f6f6663211d4f5a62c5781673935fe17a4dfced777029

ENV KUBERNETES_VERSION=1.10.5

RUN set -ex; \
  export DEBIAN_FRONTEND=noninteractive; \
  runDeps='curl ca-certificates procps netcat'; \
  buildDeps=''; \
  apt-get update && apt-get install -y $runDeps $buildDeps --no-install- recommends; \
  rm -rf /var/lib/apt/lists/*; \
  \
  curl -sLS -o k.tar.gz -k https://dl.k8s.io/v${KUBERNETES_VERSION}/kubernetes-client-linux-amd64.tar.gz; \
  tar -xvzf k.tar.gz -C /usr/local/bin/ --strip-components=3 kubernetes/client/bin/kubectl; \
  rm k.tar.gz; \
  \
  apt-get purge -y --auto-remove $buildDeps; \
  rm /var/log/dpkg.log /var/log/apt/*.log 

此镜像部署为 10.100.180.74:5000/test/kubectl-client-1.10.5在站点本地注册表中，将在下面提及。

使用上面的容器创建一个 pod

apiVersion: apps/v1beta2
kind: StatefulSet
metadata:
  name: pod-labeler
  namespace: default
spec:
  selector:
    matchLabels:
      app: pod-labeler
  replicas: 1
  serviceName: pod-labeler
  updateStrategy:
    type: OnDelete
  template:
    metadata:
      labels:
        app: pod-labeler
      annotations:
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: check-version
        image: 10.100.180.74:5000/test/kubectl-client-1.10.5
        env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: POD_NAME
          value: sh-777f6db646-hrm65
        command: ["/usr/local/bin/kubectl", "version" ]
      - name: label-pod
        image: 10.100.180.74:5000/test/kubectl-client-1.10.5
        env:
        - name: NODE_NAME
          valueFrom:
            fieldRef:
              fieldPath: spec.nodeName
        - name: POD_NAME
          value: sh-777f6db646-hrm65
        command: ["/bin/bash",  "-c", "/usr/local/bin/kubectl -n default label pod $POD_NAME 'mylabel2=hallo'" ]

记录输出

我们得到以下日志输出

# Log of the container "check-version"
2018-07-18T11:11:10.791011157Z Client Version: version.Info{Major:"1", 
Minor:"10", GitVersion:"v1.10.5", 
GitCommit:"32ac1c9073b132b8ba18aa830f46b77dcceb0723", GitTreeState:"clean", 
BuildDate:"2018-\
06-21T11:46:00Z", GoVersion:"go1.9.3", Compiler:"gc", Platform:"linux/amd64"}
2018-07-18T11:11:10.791058997Z Server Version: version.Info{Major:"1", 
Minor:"8+", GitVersion:"v1.8.11-docker-8d637ae", 
GitCommit:"8d637aedf46b9c21dde723e29c645b9f27106fa5", GitTreeState:"clean", 
BuildDate:"2018-04-26T16:51:21Z", GoVersion:"go1.8.3", Compiler:"gc", 
Platform:"linux/amd64"}

和运行时错误

2018-07-18T11:24:15.448695813Z The Pod "sh-777f6db646-hrm65" is invalid: 
spec.tolerations: Forbidden: existing toleration can not be modified except its tolerationSeconds

笔记

这不是授权问题，因为我们已经为默认命名空间的默认用户提供了完整的管理权限。如果我们不这样做，我们会收到一条错误消息，指出缺少权限。

客户端和服务器版本“外部”(例如在 docker 主机上)和“内部”(例如 pod)在 GIT 提交标签

上都是相同的。

我们使用的是 3.0.2 版的通用控制平面

有任何想法吗？

Answer 1

在其中一条评论中指出该问题可能是由缺少权限引起的，即使错误消息并未暗示如此。我们正式向 Docker 提交了一张票，实际上得到了这个结果:为了能够从 pod 中设置/修改标签，命名空间的默认用户必须被赋予 swarm 资源上的“调度程序”角色(稍后在 GUI 中显示为 \)。授予此权限可解决此问题。请参阅下面的 Docker-EE-GUI 中添加的授权。



在我看来，这远非显而易见。 Docker 支持代表主动提出调查这是否是预期的行为或错误的结果。一旦我们对这个问题有了更多的了解，我就会将其包含在我们的答案中。

至于使用更多的调试输出:不幸的是，添加 --v=9到 kubectl 的电话不返回任何有用的信息。这里有太多的输出要显示，但两种情况下的整体日志记录非常相似:它包含很多 GET API 请求，这些请求都成功，然后是最终的 PATCH API 请求，该请求在一种情况下成功，但在另一种情况下失败如上所述。