python - 如何将以栅格格式呈现的标签数据加载到 Keras/Tensorflow 中

Question

我想使用 CNN 网络将 2 个对象(二进制:“0:对象不存在，1:对象存在”)分割成形状，但我有数据问题。训练数据是 150 张图像，采用“jpg”格式，地面实况(标签数据)也是 150 张“png”栅格图像，分别为 0 和 1(产生黑白图像)。

现在的问题是如何在 Keras/Tensorflow 中加载火车图像和标签图像的混合体，如果有一个虚拟示例和/或演示如何在 Python 中执行此操作，我将不胜感激。

Answer 1

您可以使用 ImageDataGenerator 定义一个生成器来读取输入图像，并定义另一个生成器来读取标签。类及其flow_from_directory()方法，然后将这两个生成器组合成一个生成器。只需确保输入图像和标签图像的目录结构和文件名(顺序)相同:

data_image_gen = ImageDataGenerator(...)
data_label_gen = ImageDataGenerator(...)

image_gen = data_image_gen.flow_from_directory(image_directory,
                # no need to return labels
                class_mode=None,
                # don't shuffle to have the same order as labels
                shuffle=False)

image_gen = data_image_gen.flow_from_directory(label_directory,
                color_mode='grayscale',
                # no need to return labels
                class_mode=None,
                # don't shuffle to have the same order as images 
                shuffle=False)

def final_gen(image_gen, label_gen):
    for data, labels in zip(image_gen, label_gen):
        # divide labels by 255 to make them like masks i.e. 0 and 1
        labels /= 255.
        # remove the last axis, i.e. (batch_size, n_rows, n_cols, 1) --> (batch_size, n_rows, n_cols)
        labels = np.squeeze(labels, axis=-1)

        yield data, labels

# ... define your model

# fit the model
model.fit_generator(final_gen(image_gen, label_gen), ...)