hadoop - 限制Sqoop中的并发映射器数量

Question

我想用100个映射器(“-m 100”)运行一个Sqoop作业-这会将数据分配到100个分区中。在任何时候，我都希望将同时运行的映射器的数量限制为10。

以下无效-

-D mapreduce.job.running.map.limit=10
-D mapred.tasktracker.map.tasks.maximum=10
-D mapreduce.job.maps=10
-D yarn.nodemanager.resource.cpu-vcores=10

Answer 1

Fair Scheduler可用于限制作业中的并发映射任务的数量。

将公平的调度程序添加到类路径中，然后在mapred-site.xml中设置以下属性

<property>
  <name>mapred.jobtracker.taskScheduler</name>
  <value>org.apache.hadoop.mapred.FairScheduler</value>
</property>

公平调度程序的配置将在两个文件中提供。 mapred-site.xml负责算法参数，而 fair-scheduler.xml负责池配置，运行作业限制等
maxMaps和 maxReduces将帮助我们设置最大并发任务插槽。