mongodb - MapReduce 和 SQL GROUP BY

Question

我一直在尝试了解 MongoDB 中 MapReduce 的基础知识，甚至在实现它之后，我也不确定它与 SQL 的 GROUP BY 甚至 Mongo 自己的 GROUP BY 究竟有何不同。在 SQL Server 中，可以通过流或哈希聚合来完成 GROUP BY。 MapReduce不是类似于哈希聚合，只是在大量的服务器之上吗？

我在一些地方读到 MR for MongoDB 将作为后台进程运行，因为它是一个“繁重的操作”。鉴于数据是分片的，GROUP BY 不会同样“重”吗？也就是说，我只是想比较那些可以作为 MR 作业或使用 GROUP BY 查询来实现的操作类型。

有没有什么GROUP BY做不到，只有MR可以做的？

此外，Hadoop 似乎非常擅长 MR(这只是我读到的内容..我从未在 Hadoop 上工作过)。 Hadoop 的 MR 与 Mongo 有何不同？

我很困惑。请帮助或指导我阅读解释 MapReduce 需求的优秀教程。

Answer 1

使用 MR 得到的是速度。 GROUP BY 在 SQL 中是一个缓慢的操作，而 MR 在 MongoDB 中更慢。但是您所做的是创建新集合并实时迭代它们。当您拥有大量数据并希望能够对其进行实时迭代时，这非常有用。

在我正在处理的项目中，有一个 Python 脚本在后台运行(cron 作业)，每天执行一次不同的 map/reduce。我们没有使用 SQL group by 迭代大型表，而是使用 MR 迭代一次，然后快速迭代创建的新集合。

我没有 Hadoop 经验。所以很抱歉，我不能在那里填写你。

教程: http://www.mongovue.com/2010/11/03/yet-another-mongodb-map-reduce-tutorial/

编辑:

在这里您可能会看到 SQL 查询到 MongoDB Map/Reduce 的完整转换: 它取自:http://rickosborne.org/download/SQL-to-MongoDB.pdf