architecture - 单个服务器上的 Map/Reduce

Question

在非分片架构上进行 map/reduce 是否有意义？

或者换句话说，在单个服务器上执行是否有效。

Answer 1

总的来说，我不同意 Praveen。

是的，我同意在单个系统上运行时您会失去平台的容错特性。然而，在许多情况下，平台具有用于特定目的的有用属性。

在许多情况下，使用 Hadoop 工具包比不使用 Hadoop 更有优势。

1. 您无需担心输入文件的大小。如果您的输入数据很多 GiB，那么您仍然可以在只有 512MiB 可用系统 RAM 的系统上运行它。
2. 借助该平台，您可以使数据处理应用程序以多线程方式运行，而无需深入创建线程。您只需在平台的不同实例上部署您的应用程序。
3. 您保持向多个系统横向扩展的大门敞开。当您的应用程序达到该级别时，实现真正水平可扩展性的步骤就非常简单了。

当您使用 Hadoop 编写处理应用程序时，您有多种运行它的选项:

1. 使用本地文件系统在单个机器上进行单线程。这样，它只是一个将输入转换为输出的命令行 Java 应用程序。
2. 只需在使用本地文件系统的单个机器上设置 jobtracker/tasktracker。有关详细信息，请参阅此 stackoverflow 问题:Is it possible to run Hadoop in Pseudo-Distributed operation without HDFS?
3. 在单个系统上完全成熟(pseudo-distributed 模式)。
4. 成熟的多系统设置。