go - 遵循 "Configure Multiple Schedulers"Kubernetes 指南时出现错误

Question

当我尝试关注 Kubernetes Configure Multiple Schedulers guide 时，我无法成功运行 my-scheduler pod。

我成功构建了镜像并将其推送到注册表，镜像显示在我的 docker 和 Google Could Platform 中。但是当我应用部署文件来设置 pod 时，状态是 CrashLoopBackOff。

my-scheduler-64576b7897-8b549            0/1     CrashLoopBackOff   14         84m

这是 kuberctl describe pod my-scheduler-64576b7897-8b549 -n kube-system 的输出:

Name:               my-scheduler-64576b7897-8b549
Namespace:          kube-system
Priority:           0
PriorityClassName:  <none>
Node:               minikube/10.0.2.15
Start Time:         Tue, 07 May 2019 15:06:59 -0500
Labels:             component=scheduler
                    pod-template-hash=64576b7897
                    tier=control-plane
                    version=second
Annotations:        <none>
Status:             Running
IP:                 172.17.0.15
Controlled By:      ReplicaSet/my-scheduler-64576b7897
Containers:
  kube-second-scheduler:
    Container ID:  docker://a0cadf03dd5ffd11cbb6f1f8e669fc04cd6aa00aa6f361550f06f32785a4d63c
    Image:         gcr.io/my-gcp-project-239900/my-kube-scheduler:1.0
    Image ID:      docker-pullable://gcr.io/my-gcp-project-239900/my-kube-scheduler@sha256:0895687b7646d159438f086e8f8b23b253332930e169cf29d8b9951ebf3ba653
    Port:          <none>
    Host Port:     <none>
    Command:
      /usr/local/bin/kube-scheduler
      --address=1.1.1.1
      --leader-elect=false
      --scheduler-name=my-scheduler
    State:          Terminated
      Reason:       Error
      Exit Code:    1
      Started:      Tue, 07 May 2019 15:07:45 -0500
      Finished:     Tue, 07 May 2019 15:07:45 -0500
    Last State:     Terminated
      Reason:       Error
      Exit Code:    1
      Started:      Tue, 07 May 2019 15:07:24 -0500
      Finished:     Tue, 07 May 2019 15:07:24 -0500
    Ready:          False
    Restart Count:  3
    Requests:
      cpu:        100m
    Liveness:     http-get http://:10251/healthz delay=15s timeout=1s period=10s #success=1 #failure=3
    Readiness:    http-get http://:10251/healthz delay=0s timeout=1s period=10s #success=1 #failure=3
    Environment:  <none>
    Mounts:
      /var/run/secrets/kubernetes.io/serviceaccount from my-scheduler-token-lzwvk (ro)
Conditions:
  Type              Status
  Initialized       True
  Ready             False
  ContainersReady   False
  PodScheduled      True
Volumes:
  my-scheduler-token-lzwvk:
    Type:        Secret (a volume populated by a Secret)
    SecretName:  my-scheduler-token-lzwvk
    Optional:    false
QoS Class:       Burstable
Node-Selectors:  <none>
Tolerations:     node.kubernetes.io/not-ready:NoExecute for 300s
                 node.kubernetes.io/unreachable:NoExecute for 300s
Events:
  Type     Reason     Age               From               Message
  ----     ------     ----              ----               -------
  Normal   Scheduled  48s               default-scheduler  Successfully assigned kube-system/my-scheduler-64576b7897-8b549 to minikube
  Normal   Pulled     2s (x4 over 47s)  kubelet, minikube  Container image "gcr.io/my-gcp-project-239900/my-kube-scheduler:1.0" already present on machine
  Normal   Created    2s (x4 over 47s)  kubelet, minikube  Created container kube-second-scheduler
  Normal   Started    2s (x4 over 47s)  kubelet, minikube  Started container kube-second-scheduler
  Warning  BackOff    1s (x6 over 45s)  kubelet, minikube  Back-off restarting failed container

当我尝试查看此 pod 的日志时，出现此错误消息:

 standard_init_linux.go:207: exec user process caused "exec format error"

而我的 Dockerfile 与指南有点不同，它看起来像:

FROM busybox
ADD ./_output/local/bin/darwin/amd64/kube-scheduler /usr/local/bin/kube-scheduler

我变了

ADD ./_output/dockerized/bin/linux/amd64/kube-scheduler /usr/local/bin/kube-scheduler

进入

ADD ./_output/local/bin/darwin/amd64/kube-scheduler /usr/local/bin/kube-scheduler

因为 ./_output/local/bin/darwin/amd64/kube-scheduler 是调度程序文件实际所在的位置。如果有人能告诉我为什么会发生这种情况，我也将不胜感激。

---

一些更新

不同的文件位置

按照指南，我在 shell 中输入了这些命令

git clone https://github.com/kubernetes/kubernetes.git
cd kubernetes
make

通过执行make，Makefile文件会生成特定路径下的kubernetes exec文件(包括我们想要的kube-scheduler)。生成路径与您的系统有关。因为我使用 minikube 来运行 kubernetes 和 docker，并且它在 darwin(amd64) 上运行。我认为这就是我的路径与指南不同的原因。

“执行格式错误”

对于这个错误

 standard_init_linux.go:207: exec user process caused "exec format error"

我找到了 this issue建议在尝试在容器中运行命令之前添加 #!/bin/bash。这告诉系统将命令视为 bash 命令。在 busybox 中，它应该是 /bin/sh。 (本人对shell语言机制了解不多，如有错误请指正)

所以我在 my-sheduler.yaml 中更改了这些行:

- command:
 - /usr/local/bin/kube-scheduler
 - --address=0.0.0.0
 - --leader-elect=false
 - --scheduler-name=my-scheduler

进入

- command:
 - /bin/sh
 - /usr/local/bin/kube-scheduler
 - --address=0.0.0.0
 - --leader-elect=false
 - --scheduler-name=my-schedule

现在 my-sheduler pod 仍然失败并收到 CrashLoopBackOff 错误。好消息是我现在在执行 kubectl logs 时有了日志。坏消息是日志像这样不可读

/usr/local/bin/kube-scheduler: line 1: ����: not found
/usr/local/bin/kube-scheduler: line 2: syntax error: unexpected ")"

我假设这是因为 docker 镜像中发生了一些事情。但由于我使用的是 kubernetes github page 的凭证，应该不会有任何错误。

当我运行 docker run -it {my-image-id}/bin/sh 并进入我的图像并运行 exec kube-scheduler 文件时，会出现相同的日志。

我无法弄清楚 GO 脚本中的内容导致了这个问题。

---

另一种选择

我最终尝试了另一种方法来构建我的自定义调度程序。

我遵循了本教程:https://www.youtube.com/watch?v=IYcL0Un1io0&t=1807s

您可以在这里找到源代码:https://github.com/kelseyhightower/scheduler

与官方指南相比，这个更清晰(在官方指南中你必须构建整个东西才能获得调度程序文件)。

希望这对遇到同样问题的人有所帮助。

Answer 1

这看起来完全像是您正在使用 darwin kube-scheduler go binary 在 Linux container 中运行.

你可能在你的 mac 上运行过这个:

git clone https://github.com/kubernetes/kubernetes.git
cd kubernetes
make

它创建了 darwin 二进制文件而不是 Linux 二进制文件。我会尝试从 Linux 机器上运行它。或者更改 make 目标以使用 GOOS=linux and GOARCH=amd64 .

请注意，在撰写本文时，K8s 主要支持 Linux，仅支持 Windows 节点。