machine-learning - 机器学习与大数据

Question

关闭。这个问题需要更多focused .它目前不接受答案。












想改善这个问题吗？更新问题，使其仅关注一个问题 editing this post .

去年关闭。




Improve this question




首先，我想描述一下我目前的职位和我想达到的目标。

我是一名研究机器学习的研究员。到目前为止，已经学习了几门涵盖机器学习算法和社交网络分析的理论类(class)，因此获得了一些对实现机器学习算法和输入真实数据有用的理论概念。

在简单的例子中，算法运行良好，运行时间是可以接受的，而如果试图在我的 PC 上运行算法，大数据代表了一个问题。关于软件，我有足够的经验来实现文章中的任何算法或使用任何语言或 IDE 设计我自己的算法(到目前为止已经使用了 Matlab、Java 和 Eclipse、.NET ......)但到目前为止还没有太多设置经验基础设施。我已经开始学习 Hadoop、NoSQL 数据库等，但考虑到学习时间的限制，我不确定哪种策略是最好的。

最终的目标是能够建立一个分析大数据的工作平台，专注于实现我自己的机器学习算法并将它们放在生产中，准备通过处理大数据来解决有用的问题。

由于主要侧重于实现机器学习算法，我想问一下是否有任何现有的运行平台，提供足够的CPU资源来输入大数据，上传自己的算法并简单地处理数据而无需考虑分布式处理。

尽管如此，这样的平台是否存在，我希望获得一个足够大的图景，以便能够在一个团队中工作，将根据特定客户需求量身定制的整个系统投入生产。例如，零售商想要分析每日购买情况，因此必须将所有日常记录上传到某个基础设施，该基础设施足以使用自定义机器学习算法处理数据。

把以上所有的都变成一个简单的问题:如何为现实生活中的问题设计一个自定义的数据挖掘解决方案，主要关注机器学习算法，并在可能的情况下使用现有基础设施将其投入生产，如果没有，则设计分布式系统(使用 Hadoop 或任何框架)。

我将非常感谢您对书籍或其他有用资源的任何建议或建议。

Answer 1

首先，您的问题需要更清楚地定义大数据的意图。

事实上，大数据是一个流行词，可以指代各种规模的问题。我倾向于将大数据定义为数据大小或计算时间足够大以致“硬件抽象被破坏”的问题类别，这意味着单个商品机器无法在没有密集计算和内存的情况下执行计算.

因此，超出数据成为大数据的规模阈值尚不清楚，并且对您的实现很敏感。您的算法是否受硬盘带宽限制？它是否必须进入内存？您是否尝试避免不必要的二次成本？你有没有努力提高缓存效率等。

从几年运行中型大型机器学习挑战(在多达 250 万台商品机器上)的经验来看，我坚信许多看似需要分布式基础架构的问题，如果问题得到表达，实际上可以在一台商品机器上运行正确。例如，您提到了零售商的大规模数据。我已经研究这个确切的主题好几年了，我经常设法让所有计算在一台机器上运行，提供一些优化。我的公司一直在研究简单的自定义数据格式，该格式允许将来自大型零售商的一年所有数据存储在 50GB 内，这意味着单个商品硬盘驱动器可以保存 20 年的历史。您可以查看例如:https://github.com/Lokad/lokad-receiptstream

根据我的经验，花时间尝试优化算法和内存是值得的，这样你就可以避免求助于分布式架构。事实上，分布式架构的成本是三倍的。首先，强大的知识需求。其次，它在代码中带来了很大的复杂性开销。最后，分布式架构带来了显着的延迟开销(本地多线程分发除外)。

从从业者的角度来看，能够在 30 秒内执行给定的数据挖掘或机器学习算法是提高效率的关键因素之一。我注意到，当一些计算，无论是顺序的还是分布式的，需要 10 分钟时，我的注意力和效率往往会迅速下降，因为快速迭代和快速测试新想法变得更加复杂。许多分布式框架引入的延迟开销使得您将不可避免地处于这种低效率的场景中。

如果问题严重到即使付出很大努力也无法在单台机器上执行，那么我强烈建议求助于现成的分布式框架，而不是构建自己的框架。最著名的框架之一是 MapReduce 抽象，可通过 Apache Hadoop 获得。 Hadoop 可以在 1 万个节点的集群上运行，可能比您需要的要多得多。如果您不拥有硬件，您可以“租用”使用 Hadoop 集群，例如通过 Amazon MapReduce。

不幸的是，MapReduce 抽象并不适合所有机器学习计算。
就机器学习而言，MapReduce 是一个僵化的框架，许多案例已证明难以适应此框架或效率低下:

– MapReduce 框架本身与函数式编程有关。这
映射过程独立地应用于每个数据块。因此，该
MapReduce 框架不适合应用
将过程映射到某些数据块需要相同过程的结果
其他数据块作为先决条件。换句话说，MapReduce 框架
当不同数据块之间的计算是不合适的
不独立并强加特定的年表。

– MapReduce 旨在提供 map 的单一执行和
减少步骤并且不直接提供迭代调用。因此不是
直接适用于意味着迭代的众多机器学习问题
处理(期望最大化(EM)，信念传播等)。这
在 MapReduce 框架中实现这些算法意味着
用户必须设计一个解决方案来组织结果检索和调度
多次迭代，以便每次 map 迭代在 reduce 之后启动
上一次迭代的阶段已完成，因此每次 map 迭代都被馈送
结果由前一次迭代的reduce阶段提供。

– 大多数 MapReduce 实现旨在满足生产需求和
稳健性。因此，框架的主要关注点是处理
硬件故障，保证计算结果。 MapReduce 效率
因此，这些可靠性限制部分降低了。例如，
计算结果在硬盘上的序列化成本相当高
在某些情况下。

– MapReduce 不适合异步算法。

对 MapReduce 框架的质疑导致了更丰富的分布式框架，其中更多的控制和自由留给了框架用户，但代价是该用户更加复杂。在这些框架中，GraphLab 和 Dryad(均基于计算的有向无环图)是众所周知的。

因此，没有“一刀切”的框架，例如没有“一刀切”的数据存储解决方案。

开始使用Hadoop，你可以看看这本书Hadoop: The Definitive Guide by Tom White

如果你对大规模框架如何适应机器学习需求感兴趣，你可能会对我博士的第二章(英文)感兴趣，可在此处获取:http://tel.archives-ouvertes.fr/docs/00/74/47/68/ANNEX/texfiles/PhD%20Main/PhD.pdf

如果您提供有关您想要处理的特定挑战(算法类型、数据大小、时间和资金限制等)的更多见解，我们可能会为您提供更具体的答案。

编辑:另一个可能被证明是有趣的引用:Scaling-up Machine Learning