hadoop - 使用 Hadoop 将 word 文档转换为 pdf

Question

如果我想将 1000 多个 word 文件转换为 pdf，那么使用 Hadoop 来解决这个问题是否有意义？使用 Hadoop 会比简单地使用带有作业队列的多个 EC2 实例有任何优势吗？

此外，如果有 1 个文件和 10 个空闲节点，那么 hadoop 会拆分文件并将其发送到 10 个节点，还是将文件发送到仅 1 个节点而 9 个空闲节点？

Answer 1

在此用例中使用 hadoop 并没有太多优势。让相互竞争的消费者从队列中读取数据并生成输出将更容易设置，并且可能会更有效率。

Hadoop 不会在不同的节点上自动拆分文档和流程部分。尽管如果你有一个非常大的(数千页长)那么 Hadoop 用例是有意义的 - 但只有当在一台机器上生成 pdf 的时间很重要时。

map 任务每个可以打印几千页，reduce 任务将 PDF 合并到一个文档中 - 尽管如果生成的文件非常大，则可能难以阅读。