language-agnostic - Map Reduce 框架/基础设施

Question

Map Reduce 是一种最近似乎受到很大关注的模式，我开始在我的一个专注于事件处理管道(iPhone 加速度计和 GPS 数据)的项目中看到它的体现。我需要为这个项目构建大量的基础设施，事实上它超过了与之交互的逻辑代码的 2 倍。我构建的一些组件包括 EventProcessors(带有输入和输出缓冲区、计时等)、EventListeners、聚合器和分阶段管道。

这让我想到了 map reduce 所需的“通用”基础设施是什么。由于我经常使用 .Net，我可以看到框架和语言结构中内置的映射减少基础设施。函数式语言本身就支持这种范式。似乎每种语言都可以与 map reduce 一起使用。甚至还有围绕该概念构建的语言(例如 Go)。

Apache Hadoop将 Map-Reduce 引入 Java。谷歌有 patented a map-reduce framework .他们提供什么样的基础设施来启用 map reduce？函数式语言中用于实现 map reduce 的结构是什么？ map-reduce 框架需要/应该提供什么？

Answer 1

Hadoop 是基于 Google File System 的. Hadoop MapReduce 实现也基于 a paper by Google .对于 Google 和 Hadoop 而言，允许 MapReduce 成功并行运行大量数据的组件是分布式文件系统。