gpt4 book ai didi

apache-spark - 相同的LDA参数和数据输入,但我每次的主题都不一样?

转载 作者:行者123 更新时间:2023-12-05 07:51:28 25 4
gpt4 key购买 nike

我将 LDA 与 Spark MLlib 框架结合使用。为了确定主题的数量,我尝试:运行增加主题数量的 LDA 模型,然后找到具有最大值对数似然的最佳主题数量。但是如果我以相同的方式和相同的输入数据再次运行。我有不同的主题数量值。那么你能帮我解决以下两个问题吗:

我必须使用什么值来确定主题数:logLikelihood 或 logPrior

为什么相同的LDA参数和输入数据每次都会生成不同的主题?

以及如何稳定话题生成?

非常感谢。

编辑:我在运行 LDA 之前通过设置种子找到了解决方案,使用:

DistributedLDAModel.setSeed(long value)

最佳答案

您看到这一点是因为 LDA 在训练和推理步骤中都使用了随机性。尝试每次都设置相同的种子。

关于apache-spark - 相同的LDA参数和数据输入,但我每次的主题都不一样?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34973334/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com