python - 卡住模型并训练它

Question

我在 Colab 中使用 Keras Tensorflow。我适合一个模型并保存它。然后我加载它并检查性能，当然它应该是一样的。然后我把它冷冻起来，然后再装上。我希望之后该模型具有相同的性能。当然，在“训练”期间，由于批量大小的差异，准确性可能会有所不同。但之后用 model.evaluate 检查它时，我希望没有差异，因为权重不能改变，因为模型被卡住了。然而，事实并非如此。

我的代码:

import csv
import tensorflow as tf
import tensorflow_datasets as tfds
import numpy as np
from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

(train_x, train_labels), (test_x, test_labels) = tf.keras.datasets.imdb.load_data(num_words=10000)

x_train_padded = pad_sequences(train_x, maxlen=500)
x_test_padded = pad_sequences(test_x, maxlen=500)

model = tf.keras.Sequential([
    tf.keras.layers.Embedding(10000, 128, input_length=500),
    tf.keras.layers.Conv1D(128, 5, activation='relu'),
    tf.keras.layers.GlobalAveragePooling1D(),
    tf.keras.layers.Dense(64, activation='relu'),
    tf.keras.layers.Dense(1)
])

model.compile(loss=tf.keras.losses.BinaryCrossentropy(from_logits=True),optimizer='adam', metrics=[tf.metrics.BinaryAccuracy(threshold=0.0, name='accuracy')])

history = model.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=4, batch_size=128)

给出输出:

我保存模型:

model.save('test.h5')

并将其加载回去:

modelloaded=tf.keras.models.load_model('test.h5')

并检查性能:

modelloaded.evaluate(x_test_padded , test_labels)

当然还是一样:

现在我将模型设置为不可训练:

modelloaded.trainable=False

确实:

modelloaded.summary()

表明所有参数都是不可训练的:

现在我再次拟合它，只使用一个时期:

history = modelloaded.fit(x=x_train_padded,
                      y=train_labels,
                      validation_data=(x_test_padded , test_labels),
                      epochs=1, batch_size=128)

我知道虽然权重不可训练，但准确度会发生变化，因为这取决于批量大小。

但是，当我之后检查模型时:

modelloaded.evaluate(x_test_padded , test_labels)

我可以看到模型已更改？损失和准确率是不同的。我不明白为什么，我会期望相同的数字。由于无法训练模型。如果我用不同的批量大小调用它并不重要:

modelloaded.evaluate(x_test_padded , test_labels, batch_size=16)

数字始终相同，但与模型拟合前的数字不同。

编辑:

我尝试了以下方法:

modelloaded=tf.keras.models.load_model('test.h5')
modelloaded.trainable=False

for layer in modelloaded.layers:
  layer.trainable=False

history = modelloaded.fit(x=x_train_padded,
                          y=train_labels,
                          validation_data=(x_test_padded , test_labels),
                          epochs=1, batch_size=128)

modelloaded.evaluate(x_test_padded, test_labels)

但是，仍然调整了权重(我通过比较检查了这一点print(modelloaded.trainable_variables) 之前和之后)和 modelloaded.evaluate 输出给出的结果略有不同，我预计不会有任何变化。因为模型权重不应该改变。但是他们做到了，正如我在检查时看到的那样打印(modelloaded.trainable_variables)。

Answer 1

这似乎是一个更大的问题，正在讨论 here .将所有层显式设置为不可训练应该可行:

for layer in modelloaded.layers:
        layer.trainable = False