deep-learning - 卷积序列到序列学习模型中的位置嵌入是什么？

Question

我不明白论文 Convolutional Sequence to Sequence Learning 中的位置嵌入，有人可以帮助我吗？

Answer 1

据我了解，对于每个要翻译的单词，输入包含单词本身及其在输入链中的位置(例如，0、1、...m)。

现在，仅使用具有值 pos(在 0..m 中)的单元对这样的数据进行编码不会表现得很好(出于同样的原因，我们使用 one-hot 向量来编码单词)。因此，基本上，位置将被编码在多个输入单元格中，使用单热表示(或类似的，我可能会想到所使用位置的二进制表示)。

然后，将使用嵌入层(就像用于单词编码一样)将这种稀疏和离散的表示转换为连续的表示。

论文中使用的表示选择具有相同维度的词嵌入和位置嵌入，并简单地将两者相加。