hadoop - 幕后黑手

Question

有人可以根据软件背后的想法解释hadoop吗？是什么使它如此流行和/或强大？

Answer 1

Hadoop是一种编程环境，可在大型计算机集群上并行运行海量计算。它具有抵御丢失数台计算机的能力，可扩展以通过添加计算机来加快计算速度，并且可跟踪以报告计算状态。
Hadoop之所以受欢迎，是因为它是一个强大的开源环境，并且由于许多用户(包括Yahoo!，Microsoft和Facebook等大型用户)将其用于大型数据处理项目。
它功能强大，因为它使用了map / reduce算法，该算法将计算分解为两个简单操作的序列:

映射-获取项目列表，并对每个项目执行相同的简单操作。例如，获取网页文本，将其标记化，然后将每个标记替换为字符串:1

reduce-获取项目列表并使用累积运算符对其进行累积。例如，获取:1的列表，计算出现的次数并输出:nt形式的列表，其中nt是原始列表中出现的次数。

使用适当的分解(程序员需要这样做)以及任务分配和监视(Hadoop可以做到)，您将获得快速的可伸缩计算。在我们的示例中-字数计算。您可以对数十个映射进行排序，并减少和获取复杂算法的实现。
这是非常高级的 View 。现在，进一步阅读 MapReduce和 Hadoop。