Hadoop:接近数据的处理逻辑，而不是接近处理逻辑的数据详解

Question

我正在阅读 IBM article related to Hadoop列出的要点之一是

Hadoop 分布式文件系统有很多目标。以下是一些最著名的:

Processing logic close to the data, rather than the data close to the processing logic

在我看来，这就像一个文字游戏。靠近数据的处理逻辑和靠近处理逻辑的数据有什么区别吗？

Answer 1

有很大的不同。

将处理靠近数据意味着在数据实际所在的服务器上运行业务逻辑。

将此与使数据接近处理进行比较，您可能在其中查询数据库，并将其与其他系统连接。在这种情况下，数据通过网络发送。

有人认为，与提取数 GB 和 TB 的数据相比，发送代码和库在网络传输中的开销要少得多。

在 Hadoop2 中，这是由 YARN 处理的，在 YARN 上，mapreduce 或 Spark 等进程从进程容器中与数据节点进程并行运行。