kubernetes - 如何在Kubeflow中使用大量数据？

Question

我在GCS中存储了1TB的图像(数据分为3类)。我想在Kubeflow中针对此数据训练自定义Tensor Flow模型。
当前，我具有用于训练和持久化模型的管道组件，但是我不知道如何正确地将这些数据输入分类器。

在我看来，每次运行(可能失败)时，从GCS(gsutil cp等)下载此数据都不是正确的方法。

如何在Kubeflow管道中使用大量数据而不每次都下载它们？如何使用Kubeflow DSL表示对此数据的访问？

Answer 1

此外，如果您的数据在GCS中，则TensorFlow支持访问(并写入)GCS中的数据的功能。
tf.data api允许您设置性能数据输入管道。