google-cloud-platform - 如何连接 kubeflow 流水线组件

Question

我想通过传递任何类型的数据在组件之间建立管道连接，只是为了使它看起来像带箭头的流程图一样有条理。现在就像下面

无论 docker 容器是否生成输出，我都希望在组件之间传递一些样本数据。但是，如果需要对 docker 容器代码或 .yaml 进行任何更改，请告诉我

KFP 代码

import os
from pathlib import Path
import requests

import kfp

#Load the component
component1 = kfp.components.load_component_from_file('comp_typed.yaml')
component2 = kfp.components.load_component_from_file('component2.yaml')
component3 = kfp.components.load_component_from_file('component3.yaml')
component4 = kfp.components.load_component_from_file('component4.yaml')

#Use the component as part of the pipeline
@kfp.dsl.pipeline(name='Document Processing Pipeline', description='Document Processing Pipeline')
def data_passing():
    task1 = component1()
    task2 = component2(task1.output)
    task3 = component3(task2.output)
    task4 = component4(task3.output)

comp_typed.yaml代码

name: DPC
description: This is an example
implementation:
  container:
    image: gcr.io/pro1-in-us/dpc_comp1@sha256:3768383b9cd694936ef00464cb1bdc7f48bc4e9bbf08bde50ac7346f25be15de
    command: [python3, /dpc_comp1.py,]

component2.yaml

name: Custom_Plugin_1
description: This is an example
implementation:
  container:
    image: gcr.io/pro1-in-us/plugin1@sha256:16cb4aa9edf59bdf138177d41d46fcb493f84ce798781125dc7777ff5e1602e3
    command: [python3, /plugin1.py,]

我试过了 this和 this但除了错误之外什么也做不了。我是 python 和 kubeflow 的新手。我应该更改哪些代码才能使用 KFP SDK 在所有 4 个组件之间传递数据。数据可以是文件/字符串

假设，组件 1 从 gs 存储桶下载一个 .pdf 文件，我可以将相同的文件提供给下一个下游组件吗？组件 1 将文件下载到组件 1 docker 容器的 '/tmp/doc_pages' 位置，我认为这是该特定容器的本地位置，下游组件无法读取它们？

Answer 1

This notebook ，它描述了如何在 KFP 组件之间传递数据，可能会有用。它包括“小数据”的概念，直接传递； vs 您写入文件的“大数据”，然后 - 如示例笔记本中所示 - 输入和输出文件的路径由系统选择并传递到函数中(作为字符串)。

如果您不需要在步骤之间传递数据，但想要指定步骤顺序依赖性(例如，op2 直到 op1 完成后才运行)，您可以在您的管道定义中指出这一点，如下所示:

op2.after(op1)