gpt4 book ai didi

python - 无法从 TensorFlow 或 Keras 中的 Google Cloud Storage 存储桶加载图像

转载 作者:行者123 更新时间:2023-12-04 15:20:18 27 4
gpt4 key购买 nike

我在 Google Cloud Storage 上有一个存储桶,其中包含用于 TensorFlow 模型训练的图像。我正在使用 tensorflow_cloud加载存储在名为 stereo-train 的存储桶中的图像带有图像的目录的完整 URL 是:

gs://stereo-train/data_scene_flow/training/dat
但是在 tf.keras.preprocessing.image_dataset_from_directory中使用这个路径函数,我在 Google Cloud Console 的日志中收到错误消息:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://stereo-train/data_scene_flow/training/dat'
如何解决这个问题?
代码:
GCP_BUCKET = "stereo-train"

kitti_dir = os.path.join("gs://", GCP_BUCKET, "data_scene_flow")
kitti_training_dir = os.path.join(kitti_dir, "training", "dat")

ds = tf.keras.preprocessing.image_dataset_from_directory(kitti_training_dir, image_size=(375,1242), batch_size=batch_size, shuffle=False, label_mode=None)


即使我使用以下内容,它也不起作用:

filenames = np.sort(np.asarray(os.listdir(kitti_train))).tolist()
# Make a Dataset of image tensors by reading and decoding the files.
ds = list(map(lambda x: tf.io.decode_image(tf.io.read_file(kitti_train + x)), filenames))

tf.io.read_file我得到了同样的错误,而不是 keras 函数。如何解决这个问题?

最佳答案

如果您使用的是 Linux 或 OSX,您可以使用 Google Cloud Storage FUSE这将允许您在本地挂载您的存储桶并像使用任何其他文件系统一样使用它。关注 installation guide然后将您的存储桶安装在系统上的某个位置,即:

mkdir /mnt/buckets
gcsfuse gs://stereo-train /mnt/buckets
然后,您应该能够在代码中使用挂载点的路径,并从 Keras 中的存储桶加载内容。

关于python - 无法从 TensorFlow 或 Keras 中的 Google Cloud Storage 存储桶加载图像,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63442862/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com