architecture - Hadoop:作业在执行 map task 之前首先在哪里执行？

Question

这是Hadoop作业的典型main方法:

public class MyHadoopJobDriver extends Configured implements Tool {

  public static void main(String[] args) throws Exception {
    int exitCode = ToolRunner.run(new MyHadoopJobDriver(), args);
    System.exit(exitCode);
  }
  ...

}

当我运行此作业 hadoop MyHadoopJobDriver时， 上面的代码是否在任务跟踪器上的自己的JVM中执行？ 然后，一旦计划了作业，就将 map task 分配给任务跟踪器吗？

Answer 1

是的，通常。请注意，如果您在Eclipse中将该类“调试->作为Java应用程序”，则可以使用调试器进行测试，设置断点等。注意请注意，即使您在Eclipse中运行驱动程序类和映射器/缩减程序，您仍然可以需要在您的计算机上运行以支持HDFS的hadoop。