nlp - 为什么我们在 NLP 任务中进行填充？

Question

在 NLP 任务中，人们用 SOC(句子开头)和 EOC(句子结尾)注释句子是很常见的。他们为什么这样做？

这是一个任务相关的表现吗？例如，您在 NER 问题中进行填充的原因与您在翻译问题中进行填充的原因不同？与 NER 问题一样，您进行填充以从上下文中提取更有用的特征，但是在翻译问题中，您进行填充以识别句子的结尾，因为解码器是逐句训练的。

Answer 1

为什么 NLP 中有 Output 填充结束？

假设我们想使用 RNN(循环神经网络)为我们完成一个句子。让我们给它一个句子“如果一开始你不成功，”。我们希望它输出“try try again”然后知道停止。重要的是停止。如果我们只使用一个句点，那么我们不能使用相同的 RNN 来输出多句响应。

如果我们改用 RNN 来回答问题，那么答案可能有多个句子。

为什么在 NLP 中有 Output 填充的开始？

假设我们在诗歌方面训练 RNN，我们希望它按照我们训练它的方式创作原创诗歌。我们将不得不给它第一个标记来开始诗歌。我们可以给它第一个词，...或者我们可以只说开始。如果我们将 RNN 训练为总是从一个独特的标记开始(比如输出标记的开始)，那么 RNN 可以选择要使用的第一个词。

总结

一件事情的开始和结束对我们来说是如此直观，以至于我认为很容易忘记在某一时刻我们必须了解何时足够(结束标记)以及何时或如何开始(开始标记) ，但 RNN 必须学习这两件事。