在eclipse中调试hadoop

Question

是否可以在 Eclipse 中调试 Hadoop 的源代码？我不是在询问 map reduce 任务。我想看看Hadoop源码的哪一部分是负责调度map reduce任务的，它是如何工作的。有什么机制可以做到吗？

Answer 1

您可以下载Hadoop工程并集成到您的eclipse中，使用F5或F6进行调试。您在 eclipse 中有不同的 Debug模式:

1. F5 : 逐步调试
2. F6:跳过循环和子程序
3. F7 : 跳过循环或子程序并返回到最后一个光标点。
4. F8 : 执行并退出调试

或者您可以通过逐步执行来尝试自己理解工作流程，您可以从 main 中的 run() 方法开始。

回答你的问题:谁来安排 map task ？

如您在此模式中所见，文件被 InputFormat 类分成称为 InputSplits 的固定大小的片段。然后将每个拆分交给映射器，映射器是分配了映射任务的节点。

同样的InputFormat类还提供了一个RecordReader负责解析拆分和提取记录。每条记录作为(键，值)对传递给一个map函数.所以 Mapper 类是调用 map 方法的类。

这是 wordcount 示例的工作流程:

哪里FileInputFormat是扩展抽象类 InputFormat 的抽象类, 和 TextInputFormat扩展 FileInputFormat 类。