python - word2vec:具有预训练模型的用户级、文档级嵌入

Question

我目前正在开发一个基于 Twitter 内容的推荐系统，并拥有一个针对 4 亿条推文进行预训练的 word2vec 模型。

我将如何使用这些词嵌入来创建文档/推文级别的嵌入，然后根据他们发布的推文获取用户嵌入？

我最初打算对具有词向量表示的推文中的这些词进行平均，然后对文档/推文向量进行平均以获得用户向量，但我不确定这是否是最佳的甚至是正确的。非常感谢任何帮助。

Answer 1

对短文本中所有单词的向量进行平均是获得文本摘要向量的一种方法。它通常可以作为快速基线。 (并且，如果您拥有的只是词向量，则可能是您的主要选择。)

如果您根据其他一些相对术语重要性度量(例如 TF-IDF)进行加权平均，或者使用原始词向量(在标准化为单位长度之前，作为预标准化)，这种表示有时可能会有所改善原始大小有时可以暗示意义的强度)。

您可以通过平均所有文本来创建用户级向量，或者通过(大致等效)将所有创作的单词放入伪文档中并将所有这些单词平均在一起来创建用户级向量。

您可以通过首先将用户的推文聚类到 N 个簇中，然后将用户建模为簇的 N 个质心向量，从而保留更多用户帖子的多样性，尤其是当他们的兴趣跨越多个领域时。甚至可能每个用户的 N 也会有所不同，具体取决于他们推文的数量或他们推文的主题范围有多广。

对于原始推文，您还可以使用“Paragraph Vector”(在 Python gensim 等库中又名“Doc2Vec”)等算法来训练每条推文向量。但是，这对 RAM 要求可能具有挑战性，需要 4 亿个不同的文件。 (如果您的用户数量较少，也许他们可以是“文档”，或者可以是 FastText-in-classification-mode 训练类(class)的预测类别。)