language-agnostic - 什么是映射/归约？

Question

我听说过很多关于 Map/Reduce 的内容，尤其是在 Google 大规模并行计算系统的背景下。到底是什么？

Answer 1

来自 Google 的摘要 MapReduce研究发表页面:

MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with the same intermediate key.

MapReduce的优点是处理可以在多个处理节点(多个服务器)上并行执行，因此它是一个可以很好扩展的系统。

因为它基于functional programming模型中，map 和 reduce 步骤都没有任何副作用(map 过程的每个子部分的状态和结果不会产生任何副作用。依赖于另一个)，因此被映射和缩减的数据集可以分别分布在多个处理节点上。

乔尔的Can Your Programming Language Do This?这篇文章讨论了理解函数式编程对于 Google 提出为其搜索引擎提供支持的 MapReduce 至关重要。如果您不熟悉函数式编程及其如何支持可扩展代码，那么这是一本非常好的读物。

另请参阅:Wikipedia: MapReduce

相关问题:Please explain mapreduce simply