gpt4 book ai didi

kubernetes - 如何在Kubeflow中使用大量数据?

转载 作者:行者123 更新时间:2023-12-02 12:04:39 27 4
gpt4 key购买 nike

我在GCS中存储了1TB的图像(数据分为3类)。我想在Kubeflow中针对此数据训练自定义Tensor Flow模型。
当前,我具有用于训练和持久化模型的管道组件,但是我不知道如何正确地将这些数据输入分类器。

在我看来,每次运行(可能失败)时,从GCS(gsutil cp等)下载此数据都不是正确的方法。

如何在Kubeflow管道中使用大量数据而不每次都下载它们?如何使用Kubeflow DSL表示对此数据的访问?

最佳答案

此外,如果您的数据在GCS中,则TensorFlow支持访问(并写入)GCS中的数据的功能。
tf.data api允许您设置性能数据输入管道。

关于kubernetes - 如何在Kubeflow中使用大量数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/55653601/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com