python - Keras ImageDataGenerator 用于在单独的目录中使用图像和蒙版进行分割

Question

我正在尝试使用tensorflow.keras构建语义分割模型。我使用的数据集将图像和蒙版存储在单独的目录中，每个文件名都有一个 ID，用于将图像文件与其各自的蒙版进行映射。

以下是我的数据集目录的结构:

new
   - rendered_imges
      - render
         - image_1.tif
         - image_2.tif
         - image_3.tif
   - ground_truths
      - masks
         - mask_1.tif
         - mask_2.tif
         - mask_3.tif

上述目录结构中，image_{i}.tif对应mask_{i}.tif。

我尝试编写一个 ImageDataGenerator 来以完全相同的方式增强图像及其各自的蒙版。我的方法如下:

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

通过上述方法，尽管我对图像和蒙版应用了相同的增强功能，但图像并未根据文件名与各自的蒙版进行配对。如果有人能建议一种使用 Keras 或 Tensorflow 正确执行此操作的方法，那就太好了。

Answer 1

您需要创建一个新函数来生成训练图像和相应的掩模，您将使用它们将其输入到 fit_generator 方法中。具体来说，fit_generator 的工作方式是生成一个元组序列，其中元组的第一个元素是图像，而元组的第二个元素是预期输出。通过简单地使用数据生成器本身，子目录将隐式编码图像的预期标签。当您尝试进行语义分割时，情况当然不再是这样。

因此，创建一个新函数，该函数将输出元组集合，为您提供图像和蒙版。总之，您只需将创建的两个ImageDataGenerators，zip放在一起，然后建立一个循环，生成每批训练图像和预期的输出标签。

我需要提到的最后一件事是，如果您想成功配对图像和相应的蒙版，两个目录的文件名需要匹配。例如，如果您的 rendered_imges/render 子目录中有一个名为 1.tif 的训练图像，则需要在 ground_truths 中以相同的方式命名相应的蒙版/掩码。原因是，即使您匹配种子，它也会在将图像加载到内存之前随机选择文件名，因此为了确保训练图像和相应掩模之间保持相同的选择顺序，它们的文件名也需要匹配。在我们继续这里之前，请确保您已这样做。

因此，请执行以下操作:

def my_image_mask_generator(image_data_generator, mask_data_generator):
    train_generator = zip(image_data_generator, mask_data_generator)
    for (img, mask) in train_generator:
        yield (img, mask)

接下来，像平常一样创建数据生成器:

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

最后，在模型上调用 fit_generator 方法。假设您已经正确构建了模型:

from keras.optimizers import Adam
# Your other related imports here...

# Create custom generator for training images and masks
my_generator = my_image_mask_generator(image_data_generator, mask_data_generator)

model = ... # Define your model here
# Compile your model here
model.compile(optimizer = Adam(lr = 1e-4), loss = 'binary_crossentropy', metrics = ['accuracy'])

# Train your model here
model.fit_generator(my_generator,...)

请注意，鉴于您的目录结构，看起来您正在对每个图像执行二进制分割，因此这就是我选择二进制交叉熵作为损失函数的原因。