apache-spark - 在Spark 2.0上运行LDA算法

Question

我使用 Spark 2.0.0，当我尝试执行时，我想将 LDA 模型训练到 Tweets 数据集

val ldaModel = new LDA().setK(3).run(corpus)

我收到此错误

error: reference to LDA is ambiguous;
it is imported twice in the same scope by import org.apache.spark.ml.clustering.LDA and import org.apache.spark.mllib.clustering.LDA

有人可以帮我吗？谢谢!

Answer 1

看起来您有以下两个导入语句:

import org.apache.spark.ml.clustering.LDA
import org.apache.spark.mllib.clustering.LDA

您需要删除其中一个。

如果您使用 Spark ML(基于数据框架的 API)，正确的语法是:

import org.apache.spark.ml.clustering.LDA

/*feature extraction step*/

val lda = new LDA().setK(3)
val model = lda.fit(corpus)

如果您使用基于 RDD 的 API，那么您必须编写:

import org.apache.spark.mllib.clustering.LDA

/*feature extraction step*/

val lda = new LDA().setK(3)
val model = lda.run(corpus)