java - "main"java.lang.ClassCastException : [Lscala. Tuple2;无法在 Spark MLlib LDA 中转换为 scala.Tuple2

Question

我正在使用 Spark 1.3.0 (Scala 2.10.X) MLlib LDA 算法和 Spark Java API。当我尝试在运行时从 LDA 模型读取文档主题分布时，遇到以下问题。

“main”java.lang.ClassCastException: [Lscala.Tuple2;无法转换为 scala.Tuple2

我已经给出了以下相关代码:

DistributedLDAModel ldaModel = new LDA().setK(3).run(corpus);
RDD<Tuple2<Object, Vector>> topicDist = ldaModel.topicDistributions();

如何在JavaRDD中读取或显示“topicDist”中的内容(文档及其主题分布)？

Answer 1

我找到了解决方案，并在下面给出了它:

JavaRDD<Tuple2<Object, Vector>> topicDist = ldaModel.topicDistributions().toJavaRDD();

List<Tuple2<Object, Vector>> list = topicDist.collect();