个人中心
文章发布
退出
作者热门文章
- html - 出于某种原因，IE8 对我的 Sass 文件中继承的 html5 CSS 不友好？
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景？
33
4
在过去的一天里，我一直在努力为这种方式找到一个好的解决方案，并想听听你的想法。
我有一个接收大型动态 JSON 数组(仅包含字符串化对象)的管道，
我需要能够为该数组中的每个条目创建一个 ContainerOp(使用 dsl.ParallelFor)。
这适用于小输入。
现在，由于 argo 和 Kubernetes 的管道输入参数大小限制，数组作为文件 http url 出现(或者这是我从当前开放问题中理解的)，但是 - 当我尝试从一个 Op 读取文件以使用作为 ParallelFor 的输入，我遇到了输出大小限制。
对于这种情况，什么是好的和可重用的解决方案？
谢谢!
最佳答案
the array comes in as a file http url due to pipeline input arguements size limitations of argo and Kubernetes
inputPath和
outputPath将大数据片段作为文件传递。
inputValue 作为值而不是文件使用的数据.
[{obj1}, {obj2}, ... , {objN}] ，您可以将其转换为索引列表
[1, 2, ... , N] ，将该列表传递给循环，然后在循环内部，您可以拥有一个组件，该组件使用索引和数据来选择要处理的单件
N ->
{objN} .
关于kubernetes - KubeFlow，处理大型动态数组和具有当前大小限制的 ParallelFor，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/59868209/
33
4
0
我希望能够创建一个 Kubeflow 管道，允许用户为运行设置分配的资源。最终结果将是这样的: Example of Kubeflow "Create Run" UI with ability to
嘿，我正在开发一个包，该包生成用于训练 GPT-2 的 TFX 管道(参见 https://github.com/steven-mi/tfx-gpt2)。 我想知道如何在本地将我的管道部署到 Kube
从 Kubeflow Pipeline kfp.Parallel For 聚合结果的好模式是什么？ 最佳答案 目前可能不支持: Support inputs with multiple argumen
按照此处的kubeflow mnist示例指南here 运行kustomize build . | kubectl apply -f -时configmap/mnist-map-training-45
我正在探索 Kubeflow 作为部署和连接典型 ML 管道的各种组件的选项。我使用 docker 容器作为 Kubeflow 组件，到目前为止我一直无法成功使用 ContainerOp.file_o
关闭。这个问题是opinion-based .它目前不接受答案。 想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题. 去年关闭。 Improve th
我正在使用 these steps 使用多 channel 部署的本地机器上运行 Kubeflow但是当我尝试运行我的管道时，它被消息 ContainerCreating 卡住了。当我运行 kubec
我尝试添加一个逻辑，当管道因某些错误而终止时，该逻辑将发送松弛通知。我试图用 ExitHandler 来实现这个.但是，似乎ExitHandler不能依赖任何操作。你有什么好主意吗？ 最佳答案 我找到
我可以使用 创建静态 for 循环 with dsl.ParallelFor([1,2,3]) as item: .... 如何使用 container_op.output 作为 Paralle
我在动态列表上使用 ParallelFor。我想收集循环中的所有输出，并将它们传递给另一个 ContainerOp。 类似于以下内容，显然不起作用，因为 outputs列表将是静态的。 with ds
kubernetes Communicating between containers教程定义了以下管道 yaml: apiVersion: v1 kind: Pod metadata: name
我刚开始使用 Kubeflow，但遇到了一个问题。我需要我的管道能够自动获取它所属的实验名称。我尝试使用 the kfp package但在我看来，没有办法获得当前运行的实验名称。你有什么建议吗？非常
我尝试安装 KubeFlow 但使用了错误的区域，如何删除它？我尝试从 Kubernetes clsuter 执行此操作，但是当我尝试创建一个新的时，仍然出现相同的错误: Error 409: 'pr
我正在 AWS EKS 上设置 Kubeflow 集群，Kubeflow 中是否有一种本地方式允许我们自动安排作业，即(每 X 小时运行一次工作流，每 X 小时获取一次数据，等等) 我曾尝试寻找其他东
有什么方法可以从kubernetes设置中清除所有缓存的docker镜像等，从而可以释放主节点上的空间吗？ 我尝试安装一个部署，但kubernetes在拉镜像时会提示“设备上没有剩余空间”。 我很惊讶
我开始为一个项目深入研究 kubeflow 管道并且有一个初学者的问题。看起来 kubeflow 管道很适合训练，但是在生产中服务呢？ 我有一个相当密集的训练预处理管道，并且必须将相同的管道应用于生产
在过去的一天里，我一直在努力为这种方式找到一个好的解决方案，并想听听你的想法。 我有一个接收大型动态 JSON 数组(仅包含字符串化对象)的管道， 我需要能够为该数组中的每个条目创建一个 Contai
我希望通过 gcr.io/******/serve_model:lat5 图像访问该变量，该图像是 gcr.io/***** 的参数*/deployservice:lat2 最初我尝试将变量作为参数传
我想与我的 Kubeflow 管道分享一些 secret ，这样我就可以将它们用作容器中的环境变量。我写了一个 pipeline-secrets.yaml，看起来像这样: apiVersion: v1
我盲目地按照安装文档安装 Microk8s 并使用 kubeflow 配置，但遇到了如下错误: https://charmed-kubeflow.io/docs/quickstart joesan@j
我是一名优秀的程序员,十分优秀！