gpt4 book ai didi

scala - 带 Spark 的 LDA 模型

转载 作者:行者123 更新时间:2023-11-30 09:50:45 25 4
gpt4 key购买 nike

我在推断新文档的主题分布时遇到一些问题。实际上,我使用的是Spark 2.2.0,并且我已经训练了LDA模型 val lda = new LDA().setK(5).setMaxIterations(24)
如何推断新文档的主题?

最佳答案

只有 LocalLDAModel 可以针对新文档进行评分,因此需要首先将您的模型转换为该模型:

val localLda = lda.toLocal

然后对于单个文档:

val document: Vector = ???
localLda.topicDistribution(document)

或多个文档:

val documents: RDD[(Long, Vector)] = ???
localLda.topicDistributions(documents)

关于scala - 带 Spark 的 LDA 模型,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45545058/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com