python - 大量数据上的随机森林模型

Question

Closed. This question is off-topic。它当前不接受答案。
                            
                        
                    
                
                            
                                
                
                        
                            
                        
                    
                        
                            想改善这个问题吗？ Update the question，因此它是 on-topic，用于堆栈溢出。
                        
                        4年前关闭。
                                                                                            
                
        
我需要基于具有100个预测变量和3000万行的数据集构建随机森林分类模型。目标变量是二进制。计算每行的得分值很重要，这是RF算法的标准选项。
我成功建立了多达70,000行的RF模型。处理较大的数据集会导致内存限制错误消息。
我知道将大数据集拆分为足够小的数据集并分别处理的可能性。但是，有了3000万条记录，我将拥有太多的子集，而我宁愿找到一种更方便的方法。

所以，这是我的问题：有没有办法同时处理3000万行以建立RF模型？首先，我对R或Python解决方案感兴趣。预期的时间限制是什么？

最佳答案

除了仅查找一台具有大量RAM的机器或在某个实例上分解一个AWS实例并在此处拟合模型之外，您还可以使用执行分布式随机森林的工具，因为这不是很难并行的算法。我使用了H2O.ai，它是免费的，具有Python和R挂钩，但是我知道还有其他选择。

关于python - 大量数据上的随机森林模型，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/34533291/

上一篇：machine-learning - 能够切换数据集的随机森林算法

下一篇：java - 如何使用java在spark mllib中获取逻辑回归的p值

相关文章：

Python Web Scraping 表返回 None

python - 使用 python 3 的网页抓取教程？

python - Python 中的字符串距离矩阵

python - 检测灰度图像中是否存在黑色区域

python - 为什么我在简单的 Keras 功能 API 中收到输入错误？

python - 如何将 Python 字典写入 csv 文件？

r - 将用户在 rcpp 中创建的 C++ 函数作为参数传递

r - 使用 ggplot() 根据 R 中的 ISO3 代码为世界地图上的国家着色

重新定义R包中的功能

machine-learning - Scikit Learn 从管道内的特征联合中提取特征名称

Answer 1

除了仅查找一台具有大量RAM的机器或在某个实例上分解一个AWS实例并在此处拟合模型之外，您还可以使用执行分布式随机森林的工具，因为这不是很难并行的算法。我使用了H2O.ai，它是免费的，具有Python和R挂钩，但是我知道还有其他选择。