gpt4 book ai didi

python - 为Word2Vec模型创建训练、测试数据

转载 作者:太空宇宙 更新时间:2023-11-03 20:47:13 29 4
gpt4 key购买 nike

我正在尝试创建一个 W2V 模型,然后生成用于我的模型的训练和测试数据。我的问题是,在使用训练数据创建 W2V 模型后,如何生成测试数据。

最佳答案

Word2Vec 被认为是一种“无监督”算法,因此至少在其训练期间,通常不会保留任何“测试”数据以供以后评估。

通常会评估 Word2Vec 模型对其他过程的帮助程度 - 例如原始论文中强调的类比求解。在 gensim 中,[evaluate_word_analogies()][1] 方法可以重复该过程。但请注意:在词类比上表现最好的词向量可能不太适合其他用途,例如分类或信息检索。最好以与您的实际基础使用相关的可重复的方式评估和调整您的词向量。

(如果您使用 Word2Vec 模型的输出(特定于您的领域的词向量)作为较大系统的一部分,其中某些步骤应使用保留数据进行评估,则决定是否训练 Word2Vec 组件所有数据都可以采用任何一种方式,具体取决于其他考虑因素。)

关于python - 为Word2Vec模型创建训练、测试数据,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/56508631/

29 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com