hadoop - 在 hadoop 中 - 文件拆分的 Map-Reduce 错误

Question

当我在 map 类中使用以下行时:

String fileName = ((FileSplit) context.getInputSplit()).getPath().getName();
System.out.println(fileName);

我得到一个空的输出文件。此外，控制台的最后两行是:

14/05/06 12:52:53 INFO mapred.JobClient:     Map output records=0
14/05/06 12:52:53 INFO mapred.JobClient:     SPLIT_RAW_BYTES=2127

Answer 1

问题出在 System.out.println() 上，您不会在控制台中获得结果。你需要检查你的日志。

或者更简单:使用记录器!

1. 导入日志记录所需的类

   import org.apache.commons.logging.Log;
   import org.apache.commons.logging.LogFactory;
   

2. 定义记录器

   private static final Log LOG = LogFactory.getLog(MyClass.class);
   

3. 记录你需要的一切

   LOG.info(fileName);
   

您将在控制台中获得作业执行期间的结果。