python - 如何绘制 K 均值算法的混淆/相似矩阵

Question

我使用 K-mean 算法使用 scikit learn 对一些文本文档进行分类并显示聚类结果。我想在相似度矩阵中显示我的集群的相似度。我在 scikit 学习库中没有看到任何允许这样做的工具。

# headlines type: <class 'numpy.ndarray'> tf-idf vectors
pca = PCA(n_components=2).fit(headlines)
data2D = pca.transform(to_headlines)
pl.scatter(data2D[:, 0], data2D[:, 1])
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(headlines)

有什么方法/库可以让我轻松绘制这个余弦相似度矩阵吗？

Answer 1

如果我没猜错，你会想要生成一个类似于所示的混淆矩阵 here .然而，这需要一个可以相互比较的真相和一个预测。假设您对将标题分类为 k 组(truth)有一些黄金标准，您可以将其与 KMeans 聚类(预测)。

唯一的问题是 KMeans 聚类对您的真相 是不可知的，这意味着它产生的聚类标签不会与黄金标准组的标签相匹配。但是，有一个解决方法，即根据最佳匹配将 kmeans 标签 与 truth 标签 匹配。

这是一个如何工作的例子。

---

首先，让我们生成一些示例数据 - 在本例中为 100 个样本，每个样本具有 50 个特征，从 4 个不同(且略有重叠)的正态分布中采样。细节无关紧要；所有这一切应该做的是模仿您可能正在使用的数据集类型。在这种情况下，真相 是从中生成样本的正态分布的均值。

# User input
n_samples  = 100
n_features =  50

# Prep
truth = np.empty(n_samples)
data  = np.empty((n_samples, n_features))
np.random.seed(42)

# Generate
for i,mu in enumerate(np.random.choice([0,1,2,3], n_samples, replace=True)):
    truth[i]  = mu
    data[i,:] = np.random.normal(loc=mu, scale=1.5, size=n_features)

# Show
plt.imshow(data, interpolation='none')
plt.show()

---

接下来，我们可以应用 PCA 和 KMeans。

请注意，我不确定在您的示例中 PCA 的确切意义是什么，因为您实际上并未将 PC 用于您的 KMeans，而且不清楚数据集 to_headlines 是什么，您对其进行转换。

在这里，我正在转换输入数据本身，然后使用 PC 进行 KMeans 聚类。我还使用输出来说明 Saikat Kumar Dey 在对您的问题的评论中建议的可视化:一个散点图，其中的点按聚类标签着色。

# PCA
pca = PCA(n_components=2).fit(data)
data2D = pca.transform(data)

# Kmeans
km = KMeans(n_clusters=4, init='k-means++', max_iter=300, n_init=3, random_state=0)
km.fit(data2D)

# Show
plt.scatter(data2D[:, 0], data2D[:, 1],
            c=km.labels_, edgecolor='')
plt.xlabel('PC1')
plt.ylabel('PC2')
plt.show()

---

接下来，我们必须在我们一开始生成的真实标签之间<​​strong>找到最佳匹配对(这里是mu采样正态分布)和聚类生成的 kmeans 标签。

在这个例子中，我简单地匹配它们，使真阳性预测的数量最大化。 请注意，这是一个简单、快速而肮脏的解决方案!

如果您的预测总体上非常好，并且如果每个组在您的数据集中由相似数量的样本表示，则它可能会按预期工作 - 否则，它可能会产生不匹配/合并，并且您可能会高估作为结果的聚类质量。

欢迎提出更好的解决方案的建议。

# Prep
k_labels = km.labels_  # Get cluster labels
k_labels_matched = np.empty_like(k_labels)

# For each cluster label...
for k in np.unique(k_labels):

    # ...find and assign the best-matching truth label
    match_nums = [np.sum((k_labels==k)*(truth==t)) for t in np.unique(truth)]
    k_labels_matched[k_labels==k] = np.unique(truth)[np.argmax(match_nums)]

---

现在我们已经匹配了真相和预测，我们终于可以计算并绘制混淆矩阵。

# Compute confusion matrix
from sklearn.metrics import confusion_matrix
cm = confusion_matrix(truth, k_labels_matched)

# Plot confusion matrix
plt.imshow(cm,interpolation='none',cmap='Blues')
for (i, j), z in np.ndenumerate(cm):
    plt.text(j, i, z, ha='center', va='center')
plt.xlabel("kmeans label")
plt.ylabel("truth label")
plt.show()

---

希望这对您有所帮助!