python - 针对不同的任务、情感分析对预训练的西类牙 RoBERTa 模型进行微调

Question

我正在对西类牙推文进行情感分析。
在查阅了一些最近的文献后，我发现最近有一项专门针对西类牙语文本 (roberta-base-bne) 训练 RoBERTa 模型的努力。到目前为止，它似乎比当前最先进的西类牙语模型表现更好，BETO .
RoBERTa 模型已经针对各种任务进行了训练，其中不包括文本分类。
我要拿这个RoBERTa model并对其进行微调以进行文本分类，更具体地说，是情感分析。
我已经完成了所有的预处理并创建了数据集对象，并希望对模型进行 native 训练。
代码

# Training with native TensorFlow 

from transformers import TFRobertaForSequenceClassification

model = TFRobertaForSequenceClassification.from_pretrained("BSC-TeMU/roberta-base-bne")

optimizer = tf.keras.optimizers.Adam(learning_rate=5e-5)
model.compile(optimizer=optimizer, loss=model.compute_loss) # can also use any keras loss fn
model.fit(train_dataset.shuffle(1000).batch(16), epochs=3, batch_size=16)

问题
我的问题是关于 TFRobertaForSequenceClassification :
使用它是否正确，因为它没有在 model card 中指定?而不是 AutoModelForMaskedLM 型号卡中指定。
我们可以吗，只需申请 TFRobertaForSequenceClassification ，暗示它会自动将训练好的(和预训练的)知识应用到新任务中，即文本分类？

Answer 1

模型卡中的模型引用了模型所训练的基本内容。如果您熟悉不同建模任务的架构选择(例如，标记分类与序列分类)，应该清楚这些模型的布局略有不同，特别是在 Transformer 输出层之后的层中。对于标记分类，这是(一般来说)Dropout 和一个额外的线性层，从 hidden_size 映射模型的输出类的数量。见 here以 BERT 为例。
这意味着使用不同学习目标预训练的模型检查点将 不是 为最后一层设置权重，但您可以在微调期间训练这些(相对较少)参数。事实上，对于 PyTorch 模型，您通常会在加载可用权重略有不同的模型检查点时收到警告:

Some weights of the model checkpoint at bert-base-uncased were not used when initializing BertForSequenceClassification: [...]

如果您正在初始化 BertForSequenceClassification，这是预期的从在另一个任务上或使用另一个架构训练的模型的检查点(例如，从 BertForSequenceClassification 模型初始化 BertForPreTraining 模型)。 [...]

这正是你正在做的，所以只要你有相当数量的微调示例(根据类的数量，我建议 10e3-10e4 作为经验法则)，这不会影响你的训练很多。
但是，我想指出，您可能需要指定 TokenClassification 的标签数量。层有。您可以通过在加载模型期间指定它来执行此操作:

from transformers import TFRobertaForSequenceClassification
roberta = TFRobertaForSequenceClassification.from_pretrained("BSC-TeMU/roberta-base-bne", 
                                                             num_labels=<your_value>)