gpt4 book ai didi

r - 是什么导致 R 在处理大型数据集时崩溃?

转载 作者:行者123 更新时间:2023-12-04 11:15:27 26 4
gpt4 key购买 nike

<分区>

问题:

我有多个交易数据数据集,用于预测事件(二元分类作为结果)。其中之一有 10,587,989 行和 23 列。我正在尝试使用 10 倍 cv 和 ctree (package:party) 运行 gradient boosting,但每次运行这些模型时,我的系统都会崩溃。

硬件:

16 核,48g RAM,48g SWAP

问题:

是什么原因导致 R 在处理大型数据集时崩溃,即使在使用并行处理、添加更多内存、使系统跳转之后也是如此?

我尝试过的事情:

  • 通过doParallel启用并行处理,执行xgBoost通过 caret,我看到每个核心都亮了,RAM 和交换正在通过 linux 中的 top 函数充分利用,但它最终每次都崩溃。

  • 启动 RStudio 服务器,按初始方式重新启动系统机动,但问题仍然存在。

我确实发现有人在评论 H2O。我还联系了供应商并向他寻求解决方案,他建议使用 Sparkly,但你需要在服务器中使用 Hadoop 层才能运行 Sparkly。

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com