machine-learning - 如何将集群标签列添加回原始数据帧 - python，用于监督学习

Question

我的数据框中有一列包含 Url 信息。它有 1200 多个独特值。我想使用文本挖掘从这些值生成特征。我使用 tfidfvectorizer 生成向量，然后使用 kmeans 来识别聚类。我现在想要将这些集群标签分配回我的原始数据帧，以便我可以将 URL 信息放入这些集群中。

下面的代码用于生成向量和聚类标签

from scipy.spatial.distance import cdist


vectorizer = TfidfVectorizer(min_df = 1,lowercase = False, ngram_range = (1,1), use_idf = True, stop_words='english')
X = vectorizer.fit_transform(sample\['lead_lead_source_modified'\])
X = X.toarray()
distortions=\[\]
K = range(1,10)
for k in K:
    kmeanModel = KMeans(n_clusters=k).fit(X)
    kmeanModel.fit(X)
    distortions.append(sum(np.min(cdist(X, kmeanModel.cluster_centers_, 'euclidean'), axis=1)) / X.shape\[0\])

#append cluster labels

km = KMeans(n_clusters=4, random_state=0)
km.fit_transform(X)
cluster_labels = km.labels_
cluster_labels = pd.DataFrame(cluster_labels, columns=\['ClusterLabel_lead_lead_source'\])
cluster_labels

通过肘法，我决定了 4 个簇。我现在有了集群标签，但我不确定如何将它们添加到其各自索引上的数据帧中。由于索引问题，沿 axis=1 连接会创建 Nan。以下是连接后的示例输出。

    lead_lead_source_modified   ClusterLabel_lead_lead_source
0   NaN                          3.0
1   NaN                          0.0
2   NaN                          0.0
3   ['direct', 'salesline', 'website', '']  0.0

我想知道这种方法是否正确，如果是，那么如何解决这个问题。如果不行的话有没有更好的办法。

Answer 1

在数据帧转换期间添加索引值解决了该问题。

但它仍然想知道这是否是正确的方法