go - 使用 Golang k8s 客户端观察并等待 POD 删除

Question

我需要观察(并等待)直到 POD 被删除。我需要这样做是因为我需要在删除第一个 pod 后立即启动第二个 pod(同名)。

这就是我正在尝试的:

func (k *k8sClient) waitPodDeleted(ctx context.Context, resName string) error {
    watcher, err := k.createPodWatcher(ctx, resName)
    if err != nil {
        return err
    }

    defer watcher.Stop()

    for {
        select {
        case event := <-watcher.ResultChan():

            if event.Type == watch.Deleted {
                k.logger.Debugf("The POD \"%s\" is deleted", resName)

                return nil
            }

        case <-ctx.Done():
            k.logger.Debugf("Exit from waitPodDeleted for POD \"%s\" because the context is done", resName)
            return nil
        }
    }
}

这种方法的问题是，当我收到 Deleted 事件时，是 POD 收到删除事件的时间，而不是实际删除事件的时间。做一些额外的测试，我用这段代码结束了调试过程:

case event := <-watcher.ResultChan():

    if event.Type == watch.Deleted {
        pod := event.Object.(*v1.Pod)
        k.logger.Debugf("EVENT %s PHASE %s MESSAGE %s", event.Type, pod.Status.Phase, pod.Status.Message)
    }

日志结果为:

2022-02-15T08:21:51 DEBUG EVENT DELETED PHASE Running MESSAGE
2022-02-15T08:22:21 DEBUG EVENT DELETED PHASE Running MESSAGE

我收到两个 Deleted 事件。第一个我立即发送删除命令。 pod 从集群中有效删除时的最后一个。

我的问题是:

• 为什么我收到两个已删除事件？我怎样才能区分一个与另一个？我尝试比较这两个事件，它们看起来完全相同(时间戳除外)
• 观察和等待 pod 删除的最佳方法是什么，以便我可以立即重新启动它？我应该轮询 API 直到 pod 没有返回吗？

我要解决的用例:在我的应用程序中，有一个功能可以将一个工具替换为另一个具有不同选项的工具。该功能需要删除包含该工具的 pod 并使用另一组选项重新启动它。在这种情况下，我需要等待 pod 删除，这样我才能重新启动它。

提前致谢!

Answer 1

正如我在评论中所说，真正的问题是我创建的观察者来观察我想要删除的 pod。在 watcher 中，我创建了一个 LabelSelector，它选择了两个而不是一个 pod。这是完整的解决方案，包括观察者。

func (k *k8sClient) createPodWatcher(ctx context.Context, resName string) (watch.Interface, error) {
    labelSelector := fmt.Sprintf("app.kubernetes.io/instance=%s", resName)
    k.logger.Debugf("Creating watcher for POD with label: %s", labelSelector)

    opts := metav1.ListOptions{
        TypeMeta:      metav1.TypeMeta{},
        LabelSelector: labelSelector,
        FieldSelector: "",
    }

    return k.clientset.CoreV1().Pods(k.cfg.Kubernetes.Namespace).Watch(ctx, opts)
}

func (k *k8sClient) waitPodDeleted(ctx context.Context, resName string) error {
    watcher, err := k.createPodWatcher(ctx, resName)
    if err != nil {
        return err
    }

    defer watcher.Stop()

    for {
        select {
        case event := <-watcher.ResultChan():

            if event.Type == watch.Deleted {
                k.logger.Debugf("The POD \"%s\" is deleted", resName)

                return nil
            }

        case <-ctx.Done():
            k.logger.Debugf("Exit from waitPodDeleted for POD \"%s\" because the context is done", resName)
            return nil
        }
    }
}

func (k *k8sClient) waitPodRunning(ctx context.Context, resName string) error {
    watcher, err := k.createPodWatcher(ctx, resName)
    if err != nil {
        return err
    }

    defer watcher.Stop()

    for {
        select {
        case event := <-watcher.ResultChan():
            pod := event.Object.(*v1.Pod)

            if pod.Status.Phase == v1.PodRunning {
                k.logger.Infof("The POD \"%s\" is running", resName)
                return nil
            }

        case <-ctx.Done():
            k.logger.Debugf("Exit from waitPodRunning for POD \"%s\" because the context is done", resName)
            return nil
        }
    }
}