gpt4 book ai didi

python - 为Google Cloud Machine Learning项目存储图像的最佳方法?

转载 作者:太空宇宙 更新时间:2023-11-03 11:43:29 24 4
gpt4 key购买 nike

我正在运行一个机器学习项目,使用带有tensorflow和keras的google云平台。我的数据集中有大约30000张PNG图片当我在本地运行它时,keras有很好的实用程序来加载图像,但是google云服务需要使用特定的libraries,比如tensorflow.file_io(参见:Load numpy array in google-cloud-ml job),以便从gc存储桶读取文件。
从Google云存储桶加载图片的最佳方式是什么现在我将它们保存为字节,并从一个文件中读取它们,但是能够直接从GC bucket加载图像将非常好。
谢谢,

最佳答案

这篇文章可能会有帮助。
Tensorflow multithreading image loading
它使用新的tf.data.dataset api以性能良好的方式直接加载图像。所以你可以存储单个文件而不是单个文件尽管单个文件可能提供更好的性能,但如果使用类似于TFRecord的文件,其中包含每个记录的图像。
希望能有帮助!

关于python - 为Google Cloud Machine Learning项目存储图像的最佳方法?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44683492/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com