hadoop - 查找哪些数据拆分导致作业在hadoop中失败

Question

我想知道是否可以在调试此情况方面获得帮助？

基本上，我正在从hdfs中读取数据。执行一些基本计算，然后将结果写回到hdfs中。

但是在作业跟踪器中..我看到任务之一总是处于初始化阶段吗？

Task                                         Complete           Phase .....     Counter
task_201312040108_0001_m_003006                 0                 Initializing  0

经过几次尝试(3)，此任务失败..迫使整个工作失败..而其他任务..成功了..

如何调试这种情况？

我想知道我是否可以看一下这个映射器得到的数据分割？哦..这是仅 map task 。

Answer 1

我所有的Java映射器都扩展了具有以下代码的基本映射器:

// hook for subclasses
protected void doSetup( Context ctx ) throws IOException, InterruptedException {}

public final void setup( Context ctx )
throws IOException, InterruptedException {
    String strSplitMsg = "Input split: " + ctx.getInputSplit();
    LOG.info( strSplitMsg );
    ctx.setStatus( strSplitMsg );
    doSetup( ctx );
}

这样我就不会被那个问题咬住了。但是，冻结可能发生在调用setup()之前；也许您可以查看发生故障的主机上的任务跟踪器日志或任务尝试日志本身。