hadoop - 是否存在无法通过 map/reduce 解决的典型问题？

Question

我正在尝试了解 hadoop 和 map/reduce 的界限，这将有助于了解一个我们知道 map/reduce 无法解决的重要问题或一类问题。

如果改变问题的一个因素可以简化 map/reduce，那肯定会很有趣。

谢谢

Answer 1

我想到了两件事:

1. 任何需要实时/交互式/低延迟响应时间的东西。提交到 Hadoop 的任何作业都会产生固定成本。

2. 任何不是embarrassingly parallel的问题. Hadoop 可以处理许多需要数据之间存在一些简单相互依赖性的问题，因为记录是在减少阶段连接的。然而，某些图形处理和机器学习算法很难用 Hadoop 编写，因为有太多相互依赖的操作。一些机器学习算法需要非常低的延迟，随机访问大量数据，而 Hadoop 不提供开箱即用的功能。