unix - 使用 Unix 的 split|grep|cat 与 Hadoop 进行搜索

Question

为什么我要使用 hadoop 在多个大文件中搜索字符串，而不是使用开箱即用的 unix 工具，如 split、grep 和 cat？

谢谢
阿什什

Answer 1

Hadoop 旨在搜索多个文件并组合结果。提到的其他工具不会这样做(没有大量工作)。特别是，由于 Hadoop 并行执行此操作(跨多个服务器)，这意味着“大量工作”必须用某种支持并行性的语言来完成。 Python 可用于临时原型(prototype)，但可能无法与 split、grep 和 cat 等工具(如 bash)相媲美(除非您大幅减少需求)。