machine-learning - 为什么 Bert 格式需要一次性列？

Question

我最近遇到了 Bert(来自 Transformers 的双向编码器表示)。我看到Bert对训练数据有严格的格式要求。所需的第三列描述如下:

第 3 列: 全部相同字母的列 — 这是一个一次性的列，您需要包含它，因为 BERT 模型需要它。

什么是一次性列，为什么数据集中需要此列，因为它声明包含相同的字母？

谢谢。

Answer 1

BERT 针对两项任务进行了预训练 - 掩码语言建模和下一句预测。

您所说的第三列仅用于下一句预测和需要多个句子的下游任务(例如问答)。在这些情况下，列的值不会只是 A 或 0。句子1全为0，句子2全为1，表示前者是句子A，后者是句子B。