python - 构建我自己的数据集以与 Tensorflow 或 Keras 一起使用

Question

目前我以这种方式加载数据集:

from keras.datasets import mnist
(x_train, y_train), (x_test, y_test) = mnist.load_data()

但我想使用我自己的数据集，该数据集以这种方式在文件夹中标记:

flower_phoyos/daisy 
flower_phoyos/dandelion
flower_phoyos/roses
flower_phoyos/sunflowers
flower_phoyos/tulips

每个子文件夹都是一个要分类的类，分类器必须对雏菊、蒲公英、玫瑰、向日葵或郁金香进行排序。

解决方案可以使用tensorflow或keras

Answer 1

不是最优雅的方法，但对于小型数据集来说这应该足够了。首先获取所有文件的列表，并记下它们的类:

import os
import numpy as np
from matplotlib import pyplot as plt

file_list = []
class_list = []

classnames = ['daisy', 'dandelion', 'roses', 'sunflowers', 'tulips']   
for class_name in classnames:
    dir_list = os.listdir(os.path.join('flower_phoyos', class_name))
    file_list.extend(dir_list)
    class_list.extend([classnames] * len(dir_list))

现在您知道自己有多少个示例 (len(file_list))，并且可以读取它们，并将它们分配给 numpy 数组。

img_data = np.zeros(len(file_list), height, width, n_bands)
# Of course I've assumed that you want all of the images to be the same size.
for ii, file_ in enumerate(file_list):
    img = plt.imread(file_)
    # Resize to height, width if your images are not all the same size.
    img_data[ii, :, :, :] = img
class_labels = np.array(class_list)

您现在可以重新排序 img_data 和 class_labels(确保以相同的方式重新排序)并将它们分成训练和测试。