python - 如何在 kubeflow 管道中定义管道级卷以跨组件共享？

Question

kubernetes Communicating between containers教程定义了以下管道 yaml:

apiVersion: v1
kind: Pod
metadata:
  name: two-containers
spec:

  restartPolicy: Never

  volumes:                      <--- This is what I need
  - name: shared-data
    emptyDir: {}

  containers:

  - name: nginx-container
    image: nginx
    volumeMounts:
    - name: shared-data
      mountPath: /usr/share/nginx/html

  - name: debian-container
    image: debian
    volumeMounts:
    - name: shared-data
      mountPath: /pod-data
    command: ["/bin/sh"]
    args: ["-c", "echo Hello from the debian container > /pod-data/index.html"]

请注意，volumes 键是在 spec 下定义的，因此该卷可用于所有定义的容器。我想使用 kfp 实现相同的行为，这是 kubeflow 管道的 API。

但是，我只能将卷添加到单个容器，而不能使用指向先前创建的卷 (kfp.dsl.PipelineVolume) 的 kfp.dsl.ContainerOp.container.add_volume_mount 将卷添加到整个工作流规范，因为卷似乎只在容器内定义。

这是我尝试过的方法，但体积总是在第一个容器中定义，而不是“全局”级别。我如何获取它以便 op2 可以访问该卷？我原以为它在里面 kfp.dsl.PipelineConf , 但卷不能添加到它。只是没有实现吗？

import kubernetes as k8s
from kfp import compiler, dsl
from kubernetes.client import V1VolumeMount
import pprint

@dsl.pipeline(name="debug", description="Debug only pipeline")
def pipeline_func():
    op = dsl.ContainerOp(
            name='echo',
            image='library/bash:4.4.23',
            command=['sh', '-c'],
            arguments=['echo "[1,2,3]"> /tmp/output1.txt'],
            file_outputs={'output': '/tmp/output1.txt'})
    op2 = dsl.ContainerOp(
            name='echo2',
            image='library/bash:4.4.23',
            command=['sh', '-c'],
            arguments=['echo "[4,5,6]">> /tmp/output1.txt'],
            file_outputs={'output': '/tmp/output1.txt'})

    mount_folder = "/tmp"
    volume = dsl.PipelineVolume(volume=k8s.client.V1Volume(
            name=f"test-storage",
            empty_dir=k8s.client.V1EmptyDirVolumeSource()))
    op.add_pvolumes({mount_folder: volume})
    op2.container.add_volume_mount(volume_mount=V1VolumeMount(mount_path=mount_folder,
                                                              name=volume.name))
    op2.after(op)


workflow = compiler.Compiler().create_workflow(pipeline_func=pipeline_func)
pprint.pprint(workflow["spec"])

Answer 1

您可能想要检查 Kubernetes pod 和容器之间的区别。您发布的 Kubernetes 示例显示了一个包含两个容器的 pod。您可以通过将边车容​​器添加到实例化的 ContainerOp，在 KFP 中重新创建相同的示例。您的第二个示例所做的是创建两个在设计上看不到彼此的单容器 pod。

要在 pod 之间交换数据，您需要一些真实的卷，而不是只适用于容器的 emptyDir 是单个 pod。

volume = dsl.PipelineVolume(volume=k8s.client.V1Volume(
        name=f"test-storage",
        empty_dir=k8s.client.V1EmptyDirVolumeSource()))
op.add_pvolumes({mount_folder: volume})

请不要使用 dsl.PipelineVolume 或 op.add_pvolume，除非您知道它是什么以及为什么需要它。只需使用普通的 op.add_volume 和 op.container.add_volume_mount。

不过，是否有特定原因需要使用卷？卷使管道和组件不可移植。没有第一方组件使用卷。

KFP 团队鼓励用户使用正常的数据传递方法:non-python , python