tensorflow - 训练精度良好，但评估较差

Question

我训练了一个 DNN 模型，训练精度很好，但评估精度很差。

def DNN_Metrix(shape, dropout):
    model = tf.keras.Sequential()
    print(shape)
    model.add(tf.keras.layers.Flatten(input_shape=shape))
    model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    for i in range(0,2):
        model.add(tf.keras.layers.Dense(10,activation=tf.nn.relu))
    model.add(tf.keras.layers.Dense(8,activation=tf.nn.tanh))
    model.add(tf.keras.layers.Dense(1, activation=tf.nn.sigmoid))
    model.compile(loss='binary_crossentropy',
                      optimizer=tf.keras.optimizers.Adam(),
                      metrics=['accuracy'])
    return model

model_dnn = DNN_Metrix(shape=(28,20,1), dropout=0.1)
model_dnn.fit(
    train_dataset, 
    steps_per_epoch=1000, 
    epochs=10, 
    verbose=2
)

这是我的训练过程和结果:

Epoch 10/10 - 55s - loss: 0.4763 - acc: 0.7807

但是当我使用测试数据集进行评估时，我得到:

result = model_dnn.evaluate(np.array(X_test), np.array(y_test), batch_size=len(X_test))

loss, accuracy = [0.9485417604446411, 0.3649936616420746] it's a binary classification, Positive label : Negetive label is about 0.37 : 0.63

我不认为这是过度拟合的结果，我训练时有700k个实例，形状为28 * 20，而且我的DNN模型很简单，参数很少。

这是我生成测试数据和训练数据时的代码:

def parse_function(example_proto):
    dics = {
            'feature': tf.FixedLenFeature(shape=(), dtype=tf.string, default_value=None),
            'label': tf.FixedLenFeature(shape=(2), dtype=tf.float32),
            'shape': tf.FixedLenFeature(shape=(2), dtype=tf.int64)
            }
    parsed_example = tf.parse_single_example(example_proto, dics)
    parsed_example['feature'] = tf.decode_raw(parsed_example['feature'], tf.float64)
    parsed_example['feature'] = tf.reshape(parsed_example['feature'], [28,20,1])
    label_t = tf.cast(parsed_example['label'], tf.int32)

    parsed_example['label'] = parsed_example['label'][1]

    return parsed_example['feature'], parsed_example['label']


def read_tfrecord(train_tfrecord):
    dataset = tf.data.TFRecordDataset(train_tfrecord)
    dataset = dataset.map(parse_function)
    dataset = dataset.shuffle(buffer_size=10000)
    dataset = dataset.repeat(100)
    dataset = dataset.batch(670)
    return dataset


def read_tfrecord_test(test_tfrecord):
    dataset = tf.data.TFRecordDataset(test_tfrecord)
    dataset = dataset.map(parse_function)
    return dataset


# tf_record_target = 'train_csv_temp_norm_vx.tfrecords'
train_files = 'train_baseline.tfrecords'
test_files = 'test_baseline.tfrecords'

train_dataset = read_tfrecord(train_files)
test_dataset  = read_tfrecord_test(test_files)


it_test_dts = test_dataset.make_one_shot_iterator()
it_train_dts = train_dataset.make_one_shot_iterator()


X_test = []
y_test = []

el = it_test_dts.get_next()

count = 1 
with tf.Session() as sess:
    while True:
        try:
            x_t, y_t = sess.run(el)
            X_test.append(x_t)
            y_test.append(y_t)
        except tf.errors.OutOfRangeError:
            break

Answer 1

从你的测试集中的数据分布是[37%-63%]以及你的最终准确率是0.365来看，我会首先检查测试集上预测的标签。

最有可能的是，您的所有预测都属于 0 类，前提是 0 类占数据集的 37%。在这种情况下，这意味着您的神经网络无法在训练集上学习任何内容，并且存在大量过度拟合的情况。

我建议您始终使用验证集，以便在每个时期结束时，您会检查您的神经网络是否学到了任何东西。在这种情况下(比如你的情况)，你很快就会看到过度拟合问题。