python - Keras BERT - 高精度、验证 acc、f1、auc -> 但预测不佳

Question

我已经通过 tf.keras 使用谷歌 BERT 训练了一个文本分类器。

我的数据集包含 50,000 行数据，均匀分布在 5 个标签上。这是一个更大数据集的子集，但我选择了这些特定标签，因为它们彼此完全不同，以避免在训练过程中出现混淆。

我按如下方式创建数据拆分:

train, test = train_test_split(df, test_size=0.30, shuffle=True, stratify=df['label'], random_state=10)
train, val = train_test_split(train, test_size=0.1, shuffle=True, stratify=train['label'], random_state=10)

模型设计是:

def compile():
    mirrored_strategy = tf.distribute.MirroredStrategy()
    with mirrored_strategy.scope():
        learn_rate = 4e-5
        bert = 'bert-base-uncased'
        model = TFBertModel.from_pretrained(bert, trainable=False)

        input_ids_layer = Input(shape=(512,), dtype=np.int32)
        input_mask_layer = Input(shape=(512,), dtype=np.int32)

        bert_layer = model([input_ids_layer, input_mask_layer])[0]

        X = tf.keras.layers.GlobalMaxPool1D()(bert_layer)

        output = Dense(5)(X)
        output = BatchNormalization(trainable=False)(output)
        output = Activation('softmax')(output)

        model_ = Model(inputs=[input_ids_layer, input_mask_layer], outputs=output)

        optimizer = tf.keras.optimizers.Adam(4e-5)
        loss = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
        metric = tf.keras.metrics.SparseCategoricalAccuracy('accuracy')

        model_.compile(optimizer=optimizer, loss=loss, metrics=[metric])
        return model_

结果如下:

loss: 1.2433
accuracy: 0.8024
val_loss: 1.2148
val_accuracy: 0.8300
f1_score: 0.8283
precision: 0.8300
recall: 0.8286
auc: 0.9676

当我运行测试数据并将单热编码标签转换回其原始标签时(使用了 model.load_weights())...

test_sample = [test_dataset[0],test_dataset[1], test_dataset[2]]
predictions = tf.argmax(model.predict(test_sample[:2]), axis =1)
preds_inv = le.inverse_transform(predictions)
true_inv = le.inverse_transform(test_sample[2])

...混淆矩阵无处不在:

confusion_matrix(true_inv, inv_preds)

array([[ 967,  202,    7,  685, 1139],
       [ 474,  785,   27,  717,  997],
       [ 768,  372,   46, 1024,  790],
       [ 463,  426,   27, 1272,  812],
       [ 387,  224,   11,  643, 1735]])

有趣的是，第三个标签几乎没有被预测到。

请注意，我在批量归一化中设置了 trainable=False，但在训练期间它被设置为 true。

输入数据由两个数组组成:文本字符串的数值向量表示(嵌入)和用于标识每个字符串的 512 个元素中哪些元素是填充值的填充标记。

在使用深度预训练模型 (bert) 训练的均匀平衡的数据集上，给出合理的准确度分数但做出糟糕预测的原因可能是什么？

Answer 1

在我的具体案例中，我通过调查导致混淆的 2 个标签的内容解决了这个问题。我用 wordcloud 做了这个。下面的示例显示了我对其中一个标签的代码:

from os import path
from PIL import Image
from wordcloud import WordCloud, STOPWORDS, ImageColorGenerator
import matplotlib.pyplot as plt
% matplotlib inline

df1 = df[df['label']==48000000]
text = " ".join(review for review in df1.text)
wordcloud = WordCloud().generate(text)
plt.imshow(wordcloud, interpolation='bilinear')
plt.axis("off")
plt.show()

现在，我的理解是 BERT 应该能够识别哪些词对特定标签很重要(使用 TF-IDF 之类的东西？不确定)，但是，当我使用 NLTK 删除停用词时，还通过添加到列出了我认为对我的特定数据集通用的词，在本例中为“系统”、“服务”(等)，在重新训练模型后，准确度显着提高:

import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords

def preprocess_text(sentence):

    # Convert to lowercase
    sentence = sentence.lower()

    new_stopwords = ['service','contract','solution','county','supplier',
             'district','council','borough','management',
             'provider','provision'
              'project','contractor']

    stop_words = set(stopwords.words('english'))
    stop_words.update(new_stopwords)
    sentence = [w for w in sentence.split(" ") if not w in stop_words]
    sentence = ' '.join(w for w in sentence)
return sentence

df['text'] = df['text'].apply(preprocess_text)