machine-learning - 在特征向量中包含单词的位置信息的好方法是什么？

Question

我认为词袋对于我的任务来说太简单了。我想要一些包含特征向量中单词的位置信息。例如“good”是倒数第二个，等等。

Answer 1

在大多数情况下，我们使用单词的二元组或三元组作为特征:它携带句子中的大部分词序信息，同时比每个单词的位置信息稀疏得多。

例如对于句子 the cat ate the mouse三元组的特征是:

<b> <b> the, <b> the cat, the cat ate, cat ate the, ate the mouse, etc.

您也可以保留现有的 BOW 功能。

此外，如果您使用判别模型，您可以添加任何看似与您的任务相关的功能，即使该功能并不独立于您现有的功能。

显然，目标始终是在信息和稀疏性之间找到适当的平衡...这取决于您的数据集，您必须进行实验!