gpt4 book ai didi

java - 使用 weka 训练机器学习分类器

转载 作者:行者123 更新时间:2023-11-30 08:25:05 24 4
gpt4 key购买 nike

我正在做一个识别推文中情绪的项目。我有一个大约 50 万的推文数据集。我使用 weka.classifiers.functions.SMO 作为机器学习分类器。我正好有 10577 个特征词,这意味着每条推文的特征向量将有 10577 个属性加上一个用于指定类别的属性。

我在 windows 环境下工作。我正在 16GB 系统上进行训练。但我仍然收到“outofmemoryerror java heap space”错误。我的训练集大小约为 8MB。我尝试增加 weka runco​​nfiguration.ini 中的堆大小以及 java 中的 -Xmx 选项。有什么方法可以为大型数据集训练 SMO 分类器,或者可以增量训练 SMO 分类器?

最佳答案

我在使用 Weka 时遇到了类似的问题,我想标准的 JVM 无法处理如此巨大的空间需求。可能还有其他方法,但是当我用谷歌搜索时,我看到有人推荐使用 Oracle JRockit 作为 JVM。当我安装它时,我的问题立即解决了。也许你可以试一试。

关于java - 使用 weka 训练机器学习分类器,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/22433225/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com