nlp - 如何创建词向量

Question

如何创建词向量？我使用了一个热键来创建词向量，但是它非常庞大，对于相似语义的词没有推广。所以我听说过使用神经网络找到词相似性和词向量的词向量。所以我想知道如何生成这个向量(算法)或开始创建词向量的好 Material ？。

Answer 1

词向量或所谓的分布式表示现在已有很长的历史，可能从 S. Bengio (Bengio, Y., Ducharme, R., & Vincent, P. (2001). 神经概率语言模型) 的工作开始。 NIPS.)，他获得了词向量作为训练神经网络语言模型的副产品。

大量研究表明，这些向量确实捕获了单词之间的语义关系(参见例如 http://research.microsoft.com/pubs/206777/338_Paper.pdf)。 Collobert 等人的这篇重要论文 (http://arxiv.org/abs/1103.0398) 也是理解词向量及其获取和使用方式的良好起点。

除了 word2vec 之外，还有很多方法可以获取它们。示例包括 Collobert 等人 (http://ronan.collobert.com/senna/) 的 SENNA 嵌入、T. Mikolov 的可使用 RNNToolkit 计算的 RNN 嵌入 (http://www.fit.vutbr.cz/~imikolov/rnnlm/) 等等。对于英语，可以从这些网站下载现成的嵌入。 word2vec 确实使用了skip-gram 模型(不是神经网络模型)。另一个用于计算单词表示的快速代码是 GloVe ( http://www-nlp.stanford.edu/projects/glove/ )。无论深度神经网络对于获得良好的嵌入是否必不可少，这是一个悬而未决的问题。

根据您的应用程序，您可能更喜欢使用不同类型的词向量，因此最好尝试几种流行的算法，看看哪种更适合您。