kubernetes - 通过 Docker 运行 Kubernetes 时配置 Kube DNS

Question

我正在尝试为我的团队准备一个开发环境，以便我们可以使用相同(或接近相同)的环境进行开发、分阶段和部署。

通过 http://kubernetes.io/v1.0/docs/getting-started-guides/docker.html 在本地运行 Kubernetes 集群很好很简单。然后我可以使用 kubectl 为我的应用程序启动 pod 和服务。

但是，每次启动时服务的 IP 地址都会不同。这是一个问题，如果您的代码需要使用它们。在 Google Container Engine 中，kube DNS 意味着您可以通过名称访问服务。这意味着使用服务的代码可以在部署之间保持不变。

现在，我知道我们可以通过环境变量将 IP 和 PORT 拼凑在一起，但我想尽可能地进行相同的设置。

所以我遵循了在不同地方找到的一些说明，包括这里和 Kubernetes 存储库中，如 this .

果然，稍微编辑一下 yml 文件，KubeDNS 就启动了。

但是 kubernetes.default 上的 nslookup 失败了。 DNS 上的运行状况检查也失败(因为它无法解析测试查找)并且实例被关闭并重新启动。

运行 kubectl cluster-info结果是:

Kubernetes master is running at http://localhost:8080
KubeDNS is running at http://localhost:8080/api/v1/proxy/namespaces/kube-system/services/kube-dns

所以一切都很好。但是，达到该端点会导致:

{
  kind: "Status",
  apiVersion: "v1",
  metadata: { },
  status: "Failure",
  message: "no endpoints available for "kube-dns"",
  code: 500
}

我现在不知所措，并且知道这是显而易见的或容易解决的问题，因为它似乎都在起作用。下面是我如何启动集群和 DNS。

# Run etcd
docker run --net=host \
 -d gcr.io/google_containers/etcd:2.0.12 /usr/local/bin/etcd  \
 --addr=127.0.0.1:4001 --bind-addr=0.0.0.0:4001 --data-dir=/var/etcd/data

# Run the master
docker run \
    --volume=/:/rootfs:ro \
    --volume=/sys:/sys:ro \
    --volume=/dev:/dev \
    --volume=/var/lib/docker/:/var/lib/docker:ro \
    --volume=/var/lib/kubelet/:/var/lib/kubelet:rw \
    --volume=/var/run:/var/run:rw \
    --net=host \
    --privileged=true \
    -d \
    gcr.io/google_containers/hyperkube:v1.0.6 \
    /hyperkube kubelet --containerized --hostname-override="127.0.0.1" \
     --address="0.0.0.0" --api-servers=http://localhost:8080 \
      --config=/etc/kubernetes/manifests \
      --cluster_dns=10.0.0.10  --cluster_domain=cluster.local

# Run the service proxy
docker run -d --net=host --privileged gcr.io/google_containers/hyperkube:v1.0.6 \
 /hyperkube proxy --master=http://127.0.0.1:8080 --v=2

# forward local port - after this you should be able to user kubectl locally

machine=default; ssh -i ~/.docker/machine/machines/$machine/id_rsa docker@$(docker-machine ip $machine) -L 8080:localhost:8080

所有容器都正常启动，kubectl get nodes 报告正常。注意我传入了 dns 标志。

然后我用这个文件启动 DNS rc，这是来自 here 的编辑版本。

apiVersion: v1
kind: ReplicationController
metadata:
  name: kube-dns-v9
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    version: v9
    kubernetes.io/cluster-service: "true"
spec:
  replicas: 1
  selector:
    k8s-app: kube-dns
    version: v9
  template:
    metadata:
      labels:
        k8s-app: kube-dns
        version: v9
        kubernetes.io/cluster-service: "true"
    spec:
      containers:
      - name: etcd
        image: gcr.io/google_containers/etcd:2.0.9
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        command:
        - /usr/local/bin/etcd
        - -data-dir
        - /var/etcd/data
        - -listen-client-urls
        - http://127.0.0.1:2379,http://127.0.0.1:4001
        - -advertise-client-urls
        - http://127.0.0.1:2379,http://127.0.0.1:4001
        - -initial-cluster-token
        - skydns-etcd
        volumeMounts:
        - name: etcd-storage
          mountPath: /var/etcd/data
      - name: kube2sky
        image: gcr.io/google_containers/kube2sky:1.11
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        # command = "/kube2sky"
        - -domain=cluster.local
      - name: skydns
        image: gcr.io/google_containers/skydns:2015-10-13-8c72f8c
        resources:
          limits:
            cpu: 100m
            memory: 50Mi
        args:
        # command = "/skydns"
        - -machines=http://localhost:4001
        - -addr=0.0.0.0:53
        - -ns-rotate=false
        - -domain=cluster.local
        ports:
        - containerPort: 53
          name: dns
          protocol: UDP
        - containerPort: 53
          name: dns-tcp
          protocol: TCP
        livenessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 30
          timeoutSeconds: 5
        readinessProbe:
          httpGet:
            path: /healthz
            port: 8080
            scheme: HTTP
          initialDelaySeconds: 1
          timeoutSeconds: 5
      - name: healthz
        image: gcr.io/google_containers/exechealthz:1.0
        resources:
          limits:
            cpu: 10m
            memory: 20Mi
        args:
        - -cmd=nslookup kubernetes.default.svc.cluster.local 127.0.0.1 >/dev/null
        - -port=8080
        ports:
        - containerPort: 8080
          protocol: TCP
      volumes:
      - name: etcd-storage
        emptyDir: {}
      dnsPolicy: Default  # Don't use cluster DNS.

然后启动服务(再次基于 repo 中的文件)

apiVersion: v1
kind: Service
metadata:
  name: kube-dns
  namespace: kube-system
  labels:
    k8s-app: kube-dns
    kubernetes.io/cluster-service: "true"
    kubernetes.io/name: "KubeDNS"
spec:
  selector:
    k8s-app: kube-dns
  clusterIP:  10.0.0.10
  ports:
  - name: dns
    port: 53
    protocol: UDP
  - name: dns-tcp
    port: 53
    protocol: TCP

我基于另一个 SO 问题做出了假设，即 clusterIP 是我传递给 master 的值，而不是主机的 ip。我确信它必须是我遗漏的明显或简单的东西。有谁能帮忙吗？

谢谢!

更新

我找到了 this在 GitHub 存储库中关闭了问题。似乎我有一个相同的问题。

我已经添加到 GitHub 上的线程，并尝试了很多东西，但仍然没有进展。我尝试使用不同的图像，但它们有不同的错误(或者相同的错误代表不同，我无法分辨)。

我发现的与此相关的所有内容都表明 IP 限制或防火墙/安全设置。所以我决定从容器本身 curl api。

docker exec  49705c38846a  echo $(curl http://0.0.0.0:8080/api/v1/services?labels=)

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100   908  100   908    0     0   314k      0 --:--:-- --:--:-- --:--:--  443k
{ "kind": "ServiceList", "apiVersion": "v1", "metadata": { "selfLink": "/api/v1/services", "resourceVersion": "948" }, "items": [ { "metadata": { "name": "kubernetes", "namespace": "default", "selfLink": "/api/v1/namespaces/default/services/kubernetes", "uid": "369a9307-796e-11e5-87de-7a0704d1fdad", "resourceVersion": "6", "creationTimestamp": "2015-10-23T10:09:57Z", "labels": { "component": "apiserver", "provider": "kubernetes" } }, "spec": { "ports": [ { "protocol": "TCP", "port": 443, "targetPort": 443, "nodePort": 0 } ], "clusterIP": "10.0.0.1", "type": "ClusterIP", "sessionAffinity": "None" }, "status": { "loadBalancer": {} } } ] }

对我来说似乎是一个有效的回应，那么为什么来自 kube2Sky 的 JSON 解析错误!？

Failed to list *api.Service: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value
Failed to list *api.Endpoints: couldn't get version/kind; json parse error: invalid character '<' looking for beginning of value

Answer 1

问题在于网络和 kube2sky 无法访问 API，因此无法获得服务。

更改 master 的 docker run，

--config=/etc/kubernetes/manifests

到

--config=/etc/kubernetes/manifests-multi

然后在skydns-rc.yaml中为kube2sky以及设置域，设置主机IP地址。

- -kube_master_url=http://192.168.99.100:8080 #<- your docker machine IP

如果没有 manifests-multi，就无法访​​问主机 IP。

这是一个简单的更改，但需要一些时间来追踪。

我在 GitHub 上创建了一个简单的设置并将维护它，这样人们就不必为了启动和运行本地开发环境而经历这种痛苦。

https://github.com/justingrayston/kubernetes-docker-dns