hadoop - 使用 Hadoop 进行并行处理而不是大数据

Question

我管理着一个小型开发人员团队，在任何给定时间，我们都有几个正在进行的(一次性)数据项目，这些项目可以被视为“Embarrassingly parallel”——这些项目通常涉及在一台计算机上运行多个脚本几天来，一个典型的例子是处理数千个 PDF 文件以提取一些关键文本并将其放入 CSV 文件中，以便稍后插入数据库。

我们现在已经完成了足够多的此类任务，因此我开始研究使用 RabbitMQ 和一些备用服务器开发一个简单的作业队列系统(着眼于将 Amazon SQS/S3/EC2 用于需要更大扩展的项目)

在搜索其他人这样做的示例时，我不断遇到经典的 Hadoop 纽约时报示例:

The New York Times used 100 Amazon EC2 instances and a Hadoop application to process 4 TB of raw image TIFF data (stored in S3) into 11 million finished PDFs in the space of 24 hours at a computation cost of about $240 (not including bandwidth)

哪个听起来很完美？所以我研究了 Hadoop 和 Map/Reduce。

但我想不通的是他们是怎么做到的？或者他们为什么这样做？

将 TIFF 转换为 PDF 肯定不是 Map/Reduce 问题？一个简单的作业队列不是更好吗？

另一个经典的 Hadoop 示例是 Yahoo Hadoop Tutorial 中的“wordcount”似乎非常适合 Map/Reduce，我明白为什么它是大数据的强大工具。

我不明白这些“令人尴尬的并行”任务是如何放入 Map/Reduce 模式中的？

长话短说

这是一个非常概念性的问题，基本上我想知道如何将“处理数千个 PDF 文件以提取一些关键文本并放入 CSV 文件”的任务放入 Map/Reduce 模式中？

如果您知道任何完美的示例，我并不是要您为我编写。

(注意:我们有处理 PDF 的代码，我不是要这个 - 这只是一个例子，它可以是任何任务。我是要将类似的过程放入 Hadoop Map/Reduce 模式中- 当任务没有明确的“Map”或“Reduce”元素时。)

干杯!

Answer 1

你的想法是对的。

您提到的上述示例仅使用了 hadoop 提供的部分解决方案。他们肯定是利用了hadoop的并行计算能力加上分布式文件系统。您不必总是需要减少步骤。运行的并行进程之间可能没有任何数据相互依赖性。在这种情况下，您将消除减少步骤。

我认为您的问题也适合 hadoop 解决方案领域。

您拥有庞大的数据 - 大量的 PDF 文件和一个长期运行的工作

您可以通过将文件放在 HDFS 上并运行 MapReduce 作业来并行处理这些文件。理论上，您的处理时间会随着集群上的节点数量而增加。如果您认为不需要聚合由各个线程生成的数据集，则不需要使用 reduce 步骤，否则您还需要设计 reduce 步骤。

这里的问题是，如果您不需要 reduce 步骤，您只是在利用 hadoop 的并行计算能力，而且您已经准备好在不太昂贵的硬件上运行您的作业。