python - 如何在 Keras 中正确设置 steps_per_epoch 和 validation_steps？

Question

我已经在 Keras 中训练了多个模型。我的训练集中有 39、592 个样本，验证集中有 9、899 个样本。我使用的批量大小为 2。

当我检查我的代码时，我突然想到我的生成器可能丢失了一些批处理的数据。

这是我的生成器的代码:

train_datagen = ImageDataGenerator(
            rescale=1. / 255,
            shear_range=0.2,
            zoom_range=0.2,
            horizontal_flip=True)

val_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
            train_dir,
            target_size=(224, 224)
            batch_size=batch_size,
            class_mode='categorical')

validation_generator = val_datagen.flow_from_directory(
            val_dir,
            target_size=(224, 224),
            batch_size=batch_size,
            class_mode='categorical')

我四处搜索以查看我的生成器的行为方式，并找到了这个答案: what if steps_per_epoch does not fit into numbers of samples?

我用这种方式计算了我的 steps_per_epoch 和 validation_steps:

steps_per_epoch = int(number_of_train_samples / batch_size)
val_steps = int(number_of_val_samples / batch_size)

使用此链接中的代码以及我自己的批量大小和样本数量，我得到了这些结果:train_generator 的“缺少最后一批”和 val_generator 的“奇怪行为”。

恐怕我必须重新训练我的模型。我应该为 steps_per_epoch 和 validation_steps 选择什么值？有没有办法为这些变量使用精确值(除了将 batch_size 设置为 1 或删除一些样本)？我还有其他几个样本数量不同的模型，我认为它们都缺少一些批处理。任何帮助将非常感激。

两个相关问题:

1- 关于我已经训练过的模型，它们是否可靠且训练得当？

2- 如果我使用以下值设置这些变量会发生什么:

steps_per_epoch = np.ceil(number_of_train_samples / batch_size)
val_steps = np.ceil(number_of_val_samples / batch_size)

在训练和验证期间，我的模型是否会在每个时期多次看到某些图像？还是这是我的问题的解决方案？!

Answer 1

由于 Keras 数据生成器旨在无限循环，steps_per_epoch 指示您将在单个纪元内从生成器中获取新批处理的次数。因此，如果您简单地采用 steps_per_epoch = int(number_of_train_samples/batch_size)，您最后一批的项目将少于 batch_size 并将被丢弃。但是，在您的情况下，每个训练时期丢失 1 张图像并不是什么大问题。验证步骤也是如此。总结一下:您的模型 [几乎 :)] 训练正确，因为丢失的元素数量很少。

对应实现ImageDataGenerator https://keras.io/preprocessing/image/#imagedatagenerator-class如果您的步数大于预期，在达到最大样本数后，您将从头开始接收新批处理，因为您的数据已循环。在您的情况下，如果 steps_per_epoch = np.ceil(number_of_train_samples/batch_size) 您将在每个时期收到一个额外的批处理，其中包含重复的图像。