hadoop - 我们可以在单节点计算机上并行运行多个拆分吗？

Question

我在单节点计算机上使用hadoop。当我运行一个大小为1GB的大文件且拆分大小为128MB时，它将以8个拆分运行文件，但是这些拆分顺序运行意味着一个拆分在另一个拆分完成后开始执行。我们是否需要设置任何属性值才能在单节点计算机上并行运行拆分。

Answer 1

Hadoop提供了分布式处理框架(batch)，即MapReduce，可并行执行任务。但是并行度取决于集群中的计算机数量。也可以使用input split size来控制并行性，但是由于您具有独立的设置，因此无法实现并行性。