machine-learning - 机器学习/数据挖掘中的速度太慢或内存不足问题

Question

It's difficult to tell what is being asked here. This question is ambiguous, vague, incomplete, overly broad, or rhetorical and cannot be reasonably answered in its current form. For help clarifying this question so that it can be reopened, visit the help center。
                            
                        
                    
                
                                6年前关闭。
            
                    
编辑：尝试改写自己：

诸如R，Weka之类的工具功能丰富，但速度缓慢且可使用的数据量有限。 Mahout，Vowpal Wabbit（VW）及其扩展名AllReduce之类的工具针对1K节点群集，并且功能有限。例如，大众汽车只能通过最小化某些损失函数来“学习”。

我没有在任何流行的软件中看到过使用并行编程（良好的pthread，MPI等）来加快速度。我认为这对于群集可能过大的问题很有用，但是在其他处理器内核空闲时等待程序完成却太糟糕了。 [作为一个例子，可以在AWS上获得26核机器和88核集群，并且良好的并行算法可以使速度提高20倍和60倍，而无需借助重量级的hadoop之类的系统。

我要向社区学习的意思是：（主观上）您的现实生活中的问题/算法虽然不算太大，但不能称为大数据，但仍然足够大，可以让您感觉更快。 （客观地）您的经验是：“对具有特征C和大小D的数据进行算法X花费了T时间，并且如果有并行算法X的话，我就有M个处理器核可以投入使用”。

当然，我问的原因是要了解该领域对并行编程的需求，并可能需要社区的努力来解决它。下面将详细介绍我的一些问题。



机器学习，数据挖掘和相关领域中的某些问题由于速度太慢或需要过多的内存而遇到困难？

作为一项业余研究项目，我们建立了一个核外的编程模型来处理大于系统内存的数据，它本身支持并行/分布式执行。它在某些问题上表现出良好的性能（请参阅下文），我们希望针对现实生活中的问题扩展此技术（希望由社区推动）。

一些基准（针对Weka，Mahout和R）：

a）用于频繁项集挖掘的Apriori算法[CPU限制但平均内存]

Webdocs数据集，具有170万笔交易，覆盖520万件独特商品（1.4 GB）。该算法查找在交易中经常出现的项目集。对于10％的支持，Weka3无法在3天内完成。我们的版本在4小时24分钟内完成（尽管公平地说，我们使用Tries代替了Weka中的哈希表）。但是更重要的是，在一台8核计算机上花费了39分钟，在8台计算机上花费了-> 6分钟30秒（= 40x）

b）SlopeOne推荐引擎[高内存使用率]

MovieLens数据集具有10M评级，从70K到10K电影。 SlopeOne建议基于协作过滤的新电影。 Apache Mahout的“ Taste”非分布式推荐器将无法使用少于6GB的内存。为了对内核外性能进行基准测试，我们将版本限制为该限制的1/10（600MB），并且在执行时完成了11％的开销（由于内核外）。

c）使用主成分分析（PCA）进行降维[CPU和内存均受限]

32K样本的突变体“ p53”蛋白质数据集，每个样本具有5400个属性（1.1GB）。 PCA用于通过删除方差很小的变量来减少数据集的维数。尽管我们的版本可以处理比系统虚拟内存更大的数据，但由于R软件可以处理该数据集，因此我们对该基准进行了基准测试。 R在86分钟内完成了工作。我们的内核外版本没有额外的开销；实际上，它在单核上花费了67分钟，在8核机器上花费了14分钟。

如今，出色的软件要么通过将它们加载到内存（R，Weka，numpy）中来处理兆字节范围的数据，要么为数据中心（Mahout，SPSS，SAS）提供TB / PB范围的数据。千兆字节范围似乎存在差距-大于虚拟内存，但小于“大数据”。虽然，诸如numpy的Blaze，R bigmemory，scalapack等项目正在满足这一需求。

根据您的经验，您能否列举一些示例，说明这种更快，更核心的工具可以使数据挖掘/机器学习社区受益？

最佳答案

这确实是一个开放式问题。据我所知，您正在问的事情是：


在大型数据集上使用机器学习。
更快的工具会使社区受益吗


对于第一个问题，Vowpal Wabbit（VW）是在许多具有大数据的生产环境中使用的最佳工具之一。前往hunch.net进行查看。

对于您的第二个问题，如果您可以击败大众汽车，那么那绝对会对社区造福。但是大众是相当不错的:)

关于machine-learning - 机器学习/数据挖掘中的速度太慢或内存不足问题，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/15419411/

上一篇：machine-learning - 机器学习准确性的最佳衡量标准是什么

下一篇：machine-learning - 在哪里可以找到 WEKA 中的 JAVA 或其他 API 中的 GSP 代码？

相关文章：

matlab - 选择在 PCA 中显示最大方差的组件

arrays - 在 GNU Parallel 中访问关联数组

google-analytics - 网站搜索的行业基准

google-analytics - 为什么像 Google Analytics 这样的 Web Analytics 使用维度和指标而不是 SQL 语句？

image-processing - CNN中3 channel 和1 channel 表示的灰度图像有什么区别？

python - KNN 归一化的精度差异

python - 我可以使用回归模型进行样本外预测吗？

c++ - 如何从 MPI 程序访问 MySQL(使用 MPICH2)？

c++ - 不能对 long double 数据类型进行 openMP 矢量化操作吗？

php - 将机器人与人类访客区分开来获取统计信息？

Answer 1

这确实是一个开放式问题。据我所知，您正在问的事情是：


在大型数据集上使用机器学习。
更快的工具会使社区受益吗


对于第一个问题，Vowpal Wabbit（VW）是在许多具有大数据的生产环境中使用的最佳工具之一。前往hunch.net进行查看。

对于您的第二个问题，如果您可以击败大众汽车，那么那绝对会对社区造福。但是大众是相当不错的:)