kubernetes - 如何在一个 Kubernetes 的 pod 中实现后处理容器

Question

我有一个 golang 服务器，用于将 AI 模型训练部署到 kubernetes 中，每次训练都会在 pod 上运行它们的工作。作业完成后，我的服务器需要将模型输出上传到 HDFS/S3。

所以我需要一个后容器来处理上传任务，比如 init-container 在 k8s pod 上执行 init 任务。

现在，我使用一种棘手的方法将模型作业容器添加到 init-containers 并在容器中运行上传任务容器。如果在 init-containers 中没有抛出错误，则此方法有效。但是，如果 init-conttainer 中有错误，则 pod 状态为 Init:ContainerCannotRun应该是 Failed在正常。

我知道我可以附上 preStop如果图像容器使用 upload-hdfs/s3 命令工具，则命令容器生命周期事件。但是我不想让模型训练图像包含这些命令。所以这不是我的答案。

所以我的问题是如何实现一个后处理容器，以便我可以在作业完成后运行上传任务？

我还找到了一个相关的issue在github中，如果没有其他选择，我会尝试一下。

Answer 1

Kubernetes 中有两种方式来应对它 - preStop Hook 以及监听 的代码SIGTERM 信号。

此外，您可以增加 终止宽限期在 pod 终止之前有更多时间。

您可以在 Attach Handlers to Container Lifecycle Events 中找到更多信息和 Kubernetes best practices: terminating with grace .