python - Google Colab : loading large image dataset is very long, 上的深度学习如何加速这个过程？

Question

我正在使用 Keras 开发深度学习模型并加速计算，我想使用 google colab 上可用的 GPU。

我的图像文件已经加载到我的谷歌驱动器上。我有 24000 张图像用于训练 4000 张图像以测试我的模型。

但是，当我将图像加载到数组中时，需要很长时间(将近 2 小时)
所以每次使用google colab notebook都这样做不是很方便。

你知道如何加速这个过程吗？这是我当前的代码:

TRAIN_DIR  = "Training_set/X"
TRAIN_DIR_Y = "Training_set/Y"
IMG_SIZE = 128

def parse_img_data(path):
    X_train = []
    index_train = []
    img_ind = []
    for img in tqdm(os.listdir(path)):
        img_ind.append(int(img.split('.')[0])-1)
        path = os.path.join(TRAIN_DIR,img)
        img = cv2.imread(path,cv2.IMREAD_COLOR)
        img = cv2.resize(img, (IMG_SIZE,IMG_SIZE))
        X_train.append(np.array(img))
    return np.array(img_ind), np.array(X_train)

ind_train, X_train = parse_img_data(TRAIN_DIR)

如果你能帮助我，我将不胜感激。

泽维尔

Answer 1

不确定你是否解决了问题。我遇到了同样的问题。
我使用后 os.listdir在我运行 CNN 并工作之前到特定的数据文件夹。

print(os.listdir("./drive/My Drive/Colab Notebooks/dataset"))