hadoop - 了解 hadoop 中默认调度程序的技术

Question

我在 3 个 Ubuntu 系统 12.04 中安装了多节点设置。我在所有三个中都使用 Hadoop1.2.1。现在我想默认运行哪个调度程序？？？如何查看Hadoop1.2.1中运行的默认调度器？

Answer 1

hadoop 中的默认调度器是 JobQueueTaskScheduler，它是一个 FIFO 调度器。作为默认调度程序，您需要引用 mapred-default.xml 中的属性 mapred.jobtracker.taskScheduler .如果您愿意，可以根据您的要求将默认调度程序更改为 CapacityScheduler 或 FairScheduler。

mapred-site.xml 用于覆盖 mapred-default.xml 中的默认值，它可以在配置目录中找到。您可能无法在配置目录中找到 mapred-default 文件以及 hadoop 二进制分发版(rpm、deb 等)，而是可以直接在 jar 文件 hadoop-core-1.2.1.jar 中找到 mapred-default.xml。

hackzon:~/hadoop-1.2.1$ jar -tvf hadoop-core-1.2.1.jar  | grep mapred-default.xml
 47324 Mon Jul 22 15:12:48 IST 2013 mapred-default.xml

这些文件在下面提到的 hadoop 源文件中用作 addDefaultResource() 方法的参数

addDefaultResource("mapred-default.xml");   // First
addDefaultResource("mapred-site.xml");   // Second

最初会加载 mapred-default.xml，然后是 mapred-site.xml。这样可以在 mapred-site.xml 中指定需要覆盖的属性

org.apache.hadoop.conf.Configuration.java
org.apache.hadoop.mapred.JobConf.java
org.apache.hadoop.mapred.TaskTracker.java
org.apache.hadoop.mapred.JobClient.java
org.apache.hadoop.mapred.JobTracker.java
org.apache.hadoop.mapred.JobHistoryServer.java

查看任何源代码。