machine-learning - 当层不可训练时拟合 keras 模型会产生不一致的结果

Question

我试图在不训练和更新权重的情况下确定模型的准确性，因此我将所有图层设置为 trainable = False。

当我在带有 shuffle = False 的生成器上运行 fit_generator 时，每次都会得到一致的结果。

当我在带有 shuffle = True 的生成器上运行 fit_generator 时，结果会稍微跳跃。鉴于输入数据相同，并且模型未进行训练，我希望模型的内部状态不会改变，并且无论顺序如何，同一数据集上的准确性都相同。

然而，这种排序依赖性意味着模型中的某种状态正在发生变化，尽管trainable = False。模型内部发生了什么导致了这种情况？

Answer 1

这是一个非常有趣的现象。出现这种情况的原因可能是大多数神经网络包都使用 float32 精度 - 它的精度高达 5-7 位小数。 Here您可以阅读详细说明。