hadoop - hadoop分布式系统中如何控制不同slave的文件分配？

Question

1. 如何控制hadoop分布式系统中不同slave的文件分配？
2. 是否可以同时在 hadoop 中写入 2 个或更多文件作为 map reduce 任务？

我是 hadoop 的新手。它对我真的很有帮助。知道的请回答。

Answer 1

这是我对您的#1 的回答:

您无法直接控制映射任务在集群中的位置或文件在集群中的发送位置。 JobTracker 和 NameNode 分别处理这些。 JobTracker 将尝试将 map task 发送到本地数据以提高性能。 (我不得不猜测你的问题是什么意思，如果我没猜对，请详细说明)

这是我对您的 #2 的回答:

MultipleOutputs当您想从单个 reducer 中写出多个文件时，这就是您正在寻找的东西。