performance - Hadoop - CPU 密集型应用程序 - 小数据

Question

Hadoop 是否适合处理 CPU 密集型作业并需要处理大约 500 MB 的小文件的作业？我读到过 Hadoop 旨在处理所谓的大数据，我想知道它如何处理少量数据(但 CPU 密集型工作负载)。

我主要想知道是否存在针对这种情况的更好方法，或者我应该坚持使用 Hadoop。

Answer 1

Hadoop 是一个提出 MapReduce 引擎的分布式计算框架。如果您可以使用此范例(或 Hadoop 模块支持的任何其他范例)来表达您的可并行 cpu 密集型应用程序，则您可以利用 Hadoop。Hadoop 计算的一个经典示例是 Pi 的计算，它不需要任何输入数据。正如您将看到的 here , yahoo 借助 Hadoop 成功地确定了 pi 的第二个四分之一数字。

但是，Hadoop 确实专门用于大数据，因为它是为此目的而开发的。例如，您处理了一个旨在包含大文件的文件系统。这些巨大的文件被分成大量的 block ，跨越大量的节点。为了确保您的数据完整性，每个 block 都必须复制到其他节点。

总而言之，我想说的是，如果您已经部署了一个 Hadoop 集群，您可能想要利用它。如果不是这种情况，虽然我不能推荐任何东西，因为我不知道你到底需要什么，但我认为你可以找到比 Hadoop 更多的轻量级框架。