tensorflow - Keras-SegNet 使用 ImageDataGenerator 和 fit 或 fit_generator

Question

关于导入数据集的问题会让我发疯。

这是我的 segnet 代码的一部分。

我将重点讨论有关图像和蒙版数据导入的问题。

print("CNN Model created.")

###training data
data_gen_args = dict()
image_datagen = ImageDataGenerator(**data_gen_args)
mask_datagen = ImageDataGenerator(**data_gen_args)
seed1 = 1
image_datagen.fit(images, augment=True, seed=seed1)
mask_datagen.fit(masks, augment=True, seed=seed1)

train_image_generator = image_datagen.flow_from_directory(TRAIN_im,target_size=(500, 500),batch_size=BATCH_SIZE, class_mode = None)
train_mask_generator = mask_datagen.flow_from_directory(TRAIN_mask,target_size=(500, 500),batch_size=BATCH_SIZE, class_mode = None)

train_generator = zip(train_image_generator,train_mask_generator)

###validation data
valid_gen_args = dict()
val_image_datagen = ImageDataGenerator(**valid_gen_args)
val_mask_datagen = ImageDataGenerator(**valid_gen_args)
seed2 = 5
val_image_datagen.fit(val_images, augment=True, seed=seed2)
val_mask_datagen.fit(val_masks, augment=True, seed=seed2)

val_image_generator = val_image_datagen.flow_from_directory(VAL_im,target_size=(500, 500),batch_size=BATCH_SIZE, class_mode = None)
val_mask_generator = val_mask_datagen.flow_from_directory(VAL_mask,target_size=(500, 500),batch_size=BATCH_SIZE, class_mode = None)

val_generator = zip(val_image_generator,val_mask_generator)

###
model.fit_generator(
train_generator,steps_per_epoch=nb_train_samples//BATCH_SIZE,epochs=EPOCHS,validation_data=val_generator,validation_steps=nb_validation_samples//BATCH_SIZE)

My question is:

我将输入大小更改为 500*500，因此我调整了池化和上采样层的大小。这是可以实现的吗？
此外，我可以通过调整它们的池化和上采样层大小以及过滤器数量来使经典网络(如 AlexNet、VGG、Segnet...)接受任意输入图像大小吗？

我想知道以下变量“图像”和“掩码”的数据类型是什么:

image_datagen.fit(images, augment=True, seed=seed1)
mask_datagen.fit(masks, augment=True, seed=seed1)

这部分来自 Keras 官方教程。(答:现在我知道它们都是 numpy 数组。)

根据上面的问题。我怎样才能得到它们？

我应该在下面写一个像 mnist.load_data() 这样的函数吗？

我需要一些例子。

    (x_train_image, y_train_label), (x_test_image, y_test_label) = mnist.load_data()

我用这个功能

flow_from_directory

这是否意味着不需要定义一个函数
“mnist.load_data()”我自己，我可以用它直接从我的目录结构中获取(batch,shuffle)数据吗？

这是我的目录结构:

Dataset -training----------images----"many images"
           |         |
           |         |-----mask-----"ground truth images(mask)" 
           |
           |
       validation----------val_images----"many images"
           |        |
           |        |------val_mask------"ground truth images(mask)" 
           |
           |
        testing---------------test images (no ground truth)

非常感谢!

Answer 1

让我们开始吧。

SegNet 是一个 FCN(完全卷积网络 --> 它不使用密集层)，适用于您指定的任何输入/输出大小。让我建议对这些编码器 - 解码器架构使用 16 的多个。为什么？因为在你的情况下，我们会从 500 到 250 到 125 到 62，另一方面从 62 到 124 到 248 到 496。突然你的分辨率不再匹配了。 AlexNet 和 VGG 使用密集层。这意味着您可以更改适合您需要的初始输入大小，但您将无法使用来自不同分辨率的预训练权重。参数的数量根本不匹配。旁注:VGG 和 AlexNet 是分类架构，而 SegNet 是分割架构。

images和 masks是形状为 (num_imgs, width, height, num_channels) 的 4 维 numpy 数组.这些变量从何而来？您必须在前面的步骤中从它们各自的图像文件中读取它们。

您想遍历两个文件夹中的每一个，读取每个图像，将它们添加到列表中，完成后将此列表转换为 numpy 数组。确保图像和蒙版以相同的方式排序，以便它们相互匹配。

flow_from_directory是一种可以与 IDG 一起使用的功能，以便为您读取图像。非常便利。但是，如果您不需要 featurewise_center，它只会让您解决这个问题, featurewise_std_normalization和 zca_whitening因为在这种情况下，您需要已经可用的 numpy 数组才能执行 IDG fit()功能。顺便说一句，这个拟合函数与fit()无关。开始训练模型的函数。它只是使用相同的命名约定。