python - 了解 Spark 中的 LDA

Question

我在 Spark(LDA) 中运行 Latent Dirichlet Allocation。并试图了解它给出的输出。

这是我使用 Tokenizer、StopwordsRemover、CountVectorizer 执行文本特征转换后的示例数据集

[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0})),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}))]

根据 Spark 的稀疏向量表示，tf_features 代表:(Vocab_zise,{term_id:term_freq...}

现在我运行了下面的初始代码:

from pyspark.ml.clustering import LDA
lda = LDA(featuresCol="tf_features",k=10, seed=1, optimizer="online")
ldaModel=lda.fit(tf_df)

lda_df=ldaModel.transform(tf_df)

首先，我检查生成的转换数据框。

lda_df.take(3)
Out[73]:
[Row(Id=u'39', tf_features=SparseVector(1184, {89: 1.0, 98: 2.0, 108: 1.0, 168: 3.0, 210: 1.0, 231: 1.0, 255: 1.0, 290: 1.0, 339: 1.0, 430: 1.0, 552: 1.0, 817: 1.0, 832: 1.0, 836: 1.0, 937: 1.0, 999: 1.0, 1157: 1.0}), topicDistribution=DenseVector([0.0049, 0.0045, 0.0041, 0.0048, 0.9612, 0.004, 0.004, 0.0041, 0.0041, 0.0042])),
 Row(Id=u'7666', tf_features=SparseVector(1184, {15: 2.0, 186: 2.0, 387: 2.0, 429: 2.0, 498: 2.0}), topicDistribution=DenseVector([0.0094, 0.1973, 0.0079, 0.0092, 0.0082, 0.0077, 0.7365, 0.0078, 0.0079, 0.008])),
 Row(Id=u'44', tf_features=SparseVector(1184, {2: 1.0, 9: 1.0, 122: 1.0, 444: 1.0, 520: 1.0, 748: 1.0}), topicDistribution=DenseVector([0.0149, 0.8831, 0.0124, 0.0146, 0.013, 0.0122, 0.0122, 0.0124, 0.0125, 0.0127]))]

我的理解是，topicDistribution 列表示该行文档中每个主题的权重。所以它基本上是文档上的主题分布。说得通。

现在我检查 LdaModel 的两种方法。

ldaModel.describeTopics().show(2,truncate=False)
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|topic|termIndices                            |termWeights                                                                                                                                                                                                               |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
|0    |[0, 39, 68, 43, 50, 59, 49, 84, 2, 116]|[0.06362107696025378, 0.012284342954240298, 0.012104887652365797, 0.01066583226047289, 0.01022196994114675, 0.008836060842769776, 0.007638318779273158, 0.006478523079841644, 0.006421040016045976, 0.0057849412030562125]|
|1    |[3, 1, 8, 6, 4, 11, 14, 7, 9, 2]       |[0.03164821806301453, 0.031039573066565747, 0.018856890552836778, 0.017520190459705844, 0.017243870770548828, 0.01717645631844006, 0.017147930104624565, 0.01706912474813669, 0.016946362395557312, 0.016722361546119266] |
+-----+---------------------------------------+--------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
only showing top 2 rows

这似乎显示了每个主题中单词或术语的分布情况(按术语 ID)。显示十个术语(可以在方法中作为参数更改)。又说得通了。

第二种方法如下:

In [82]:

ldaModel.topicsMatrix()
Out[82]:
DenseMatrix(1184, 10, [132.7645, 3.0036, 13.3994, 3.6061, 9.3199, 2.4725, 9.3927, 3.4243, ..., 0.5774, 0.8335, 0.49, 0.6366, 0.546, 0.8509, 0.5081, 0.6627], 0)

现在根据文档，它说 topicsMatrix 是主题的矩阵，它是术语，其中主题是列，主题中的术语是行。大小将是 vocab_size X k(no_of_topics)。

我在这里似乎没有看到，也不确定这个输出是什么意思？

其次，我如何将这些术语 ID 关联回实际的单词名称。最后，我想要一个主题列表(无论是列还是行)，其中包含前 10-15 个单词/术语，这样我就可以在看到那里出现的单词类型后解释这些主题。在这里我只有一些 id 而没有单词名称。

对这两个有什么想法吗？

编辑二:

当我只执行 topics[0][1] 时，出现如下评论中所述的错误。

所以我将它转换为 numpy 数组，如下所示:

topics.toArray()

看起来像下面

array([[ 132.76450545,    2.26966742,    0.73646762,    7.35362275,
           0.57789645,    0.58248036,    0.65876465,    0.6695292 ,
           0.70034004,    0.63875301],
       [   3.00362754,   68.80842798,    0.48662529,  100.31770907,
           0.57867623,    0.5357196 ,    0.58895636,    0.83408602,
           0.53400242,    0.56291545],
       [  13.39943055,   37.070078

这是一个 1184 X 10 的数组，所以我假设它是一个主题矩阵和单词分布。

如果是这种情况，那么分布应该是概率，但在这里我们看到大于 1 的数字，例如 132.76 等。那么这是什么？

Answer 1

方法 topicsMatrix() 返回一个 DenseMatrix 对象。

您在输出中看到的是此类对象的表示。这些对象的“属性”是:

numRows, numCols, values, isTransposed=False

因此，从您获得的输出中，您可以将这些属性识别为:

• numRows:词汇表大小(在您的情况下为 1184)。
• numCols:主题数量(在您的情况下为 10)。
• values:包含元素的数组。这些元素在 DenseMatrix 中表示为一个普通向量。
• isTransposed:矩阵是否转置(0，即在您的情况下为 False)。

因此，这里重要的是如何正确表示 DenseMatrix。

来自guide of pyspark我找到了一个对您有用的示例:

topics = ldaModel.topicsMatrix()
for topic in range(10):
    print("Topic " + str(topic) + ":")
    for word in range(0, ldaModel.vocabSize()):
        print(" " + str(topics[word][topic]))

根据documentation of DenseMatrix ，如果你想得到一个更有用的表示，你可以尝试使用这两种方法:

• asML()
• toArray() 返回一个 numpy.ndarray
• toSparse()