gpt4 book ai didi

python - 如何在训练模型上获得新的未见文档的界限或困惑值?

转载 作者:太空宇宙 更新时间:2023-11-03 15:10:25 25 4
gpt4 key购买 nike

我想使用 LDA 查找数据集中的异常值。为了指定异常值,对于这种情况,我计划在训练模型上使用新的未见文档的边界值或困惑值?之后,我将按升序对值进行排序,检查是否是异常值?我的问题是我无法获取单个文档的绑定(bind)/困惑值,该模型会抛出“TypeError:'int'对象不可下标”错误。

如果您能帮助我解决我的问题,我将不胜感激?

以防万一,我附上我的代码:

tokenized_corpora = dictionary.doc2bow(_acc[2])
total_number_of_words_tokenized_corpora = len(tokenized_corpora)
bound_corpora = ldaModel.bound(tokenized_corpora)
per_word_perplex_corpora = np.exp2(-bound_corpora /
total_number_of_words_tokenized_corpora)

提前致谢。

最佳答案

根据我的研究,为了获得单个文档的日志复杂度,可以使用以下命令:

ldaModel.log_perplexity([bow])

关于python - 如何在训练模型上获得新的未见文档的界限或困惑值?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44249358/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com