python - 使用 t-SNE 和/或 PCA 时的 Gensim Doc2Vec 可视化问题

Question

我正在尝试通过使用电影评论的公共(public)数据集来熟悉 Doc2Vec 结果。我已经清理了数据并运行了模型。如下所示，有 6 个标签/流派。每个都是具有其矢量表示的文档。

doc_tags = list(doc2vec_model.docvecs.doctags.keys())
print(doc_tags)
X = doc2vec_model[doc_tags]
print(X)
['animation', 'fantasy', 'comedy', 'action', 'romance', 'sci-fi']
[[ -0.6630892    0.20754902   0.2949621    0.622197     0.15592825]
 [ -1.0809666    0.64607996   0.3626246    0.9261689    0.31883526]
 [ -2.3482993    2.410015     0.86162883   3.0468733   -0.3903969 ]
 [ -1.7452248    0.25237766   0.6007084    2.2371168    0.9400951 ]
 [ -1.9570891    1.3037877   -0.24805197   1.6109428   -0.3572465 ]
 [-15.548988    -4.129228     3.608777    -0.10240117   3.2107658 ]]

print(doc2vec_model.docvecs.most_similar('romance'))
[('comedy', 0.6839742660522461), ('animation', 0.6497607827186584), ('fantasy', 0.5627620220184326), ('sci-fi', 0.14199887216091156), ('action', 0.046558648347854614)]

“浪漫”和“喜剧”非常相似，而“ Action ”和“科幻”与“浪漫”相比是完全不同的类型。到现在为止还挺好。但是，为了可视化结果，我需要降低向量维数。因此，我先尝试 t-SNE，然后尝试 PCA。这是代码和结果:

# TSNE
tsne = TSNE(n_components=2)
X_tsne = tsne.fit_transform(X)
df = pd.DataFrame(X_tsne, index=doc_tags, columns=['x', 'y'])
print(df)
                    x           y
animation -162.499695   74.153679
fantasy    -10.496888   93.687149
comedy     -38.886723  -56.914558
action     -76.036247  232.218231
romance    101.005371  198.827988
sci-fi     123.960182   20.141081

# PCA
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
df_1 = pd.DataFrame(X_pca, index=doc_tags, columns=['x', 'y'])
print(df_1)
                   x         y
animation  -3.060287 -1.474442
fantasy    -2.815175 -0.888522
comedy     -2.520171  2.244404
action     -2.063809 -0.191137
romance    -2.578774  0.370727
sci-fi     13.038214 -0.061030

有问题。当我将结果可视化时，这一点更加明显:
TSNE:

主成分分析:

这显然不是模型所产生的。我确定我缺少一些基本的东西。如果您有任何建议，将不胜感激。

Answer 1

首先，在进行 2D 投影时，您总是会失去全维模型的某些品质，这是此类可视化所必需的。您只是希望 - 并尝试选择适当的方法/参数 - 保留重要方面。因此，当特定可视化令人失望时，不一定有任何“错误”。
尤其是像 word2vec/doc2vec 这样的高维“密集嵌入”，完整嵌入中的信息比二维投影中显示的信息要多得多。您可能会在这样的情节中看到一些明智的微观关系——在一些符合预期的地方的近邻——但整体“ map ”不会像真正的 2D 表面的真实 map 那样具有可解释性。
而且:看起来你正在创建一个 30 维的 Doc2Vec只有 6 个文档标签的模型。因为方式Doc2Vec有效，如果只有 5 个唯一标签，那么本质上就是您只训练 5 个虚拟文档，只是被分割成不同的片段。就好像你把所有的“喜剧”评论合并成一个大文档，所有的“浪漫”评论等等都是一样的。Doc2Vec 的多种用途，特别是在已发表的介绍了底层“段落向量”算法的论文中，更典型的是使用每个文档的唯一 ID 作为其“标签”，特别是因为许多下游使用需要每个文档而不是每个文档的 doc-vector -已知类别。这可以更好地保留/建模原始数据中的信息 - 而将所有内容折叠为仅 6 个大型文档和 6 个摘要标签向量，强加了更简单的隐含类别形状。
请注意，如果使用唯一 ID 作为标签，您将不会自动为每个类别获得一个可以从模型中读取的摘要标签向量。但是，您可以合成这样一个向量，也许只需对某个类别中所有文档的向量进行平均即可获得该类别的质心。
有时使用已知标签作为文档标签仍然很有值(value)，可以代替唯一 ID(正如您在此处所做的那样)，或者除了唯一 ID(使用多个 tag 的选项)培训文件)。
但是您应该知道使用已知标签，并且只使用已知标签，因为标签可能会受到限制。 (例如，如果您改为为每个文档训练一个单独的向量，那么您可以通过可视化绘制文档，并使用已知标签为点着色，查看哪些类别往往有较大的重叠，并突出显示某些数据点似乎挑战类别，或在不同类别中有最近邻。)