hadoop - 哪些文件被映射器忽略为输入？

Question

我正在链接多个 MapReduce 作业，并希望将一些元信息(例如配置或原始输入的名称)与结果一起传递/存储。至少要忽略文件“_SUCCESS”以及目录“_logs”中的任何内容。

InputReader 是否默认忽略任何文件名模式？或者这只是一个固定的有限列表？

Answer 1

FileInputFormat 使用以下 hiddenFileFilter默认情况下:

  private static final PathFilter hiddenFileFilter = new PathFilter(){
      public boolean accept(Path p){
        String name = p.getName(); 
        return !name.startsWith("_") && !name.startsWith("."); 
      }
    }; 

因此，如果您使用任何 FileInputFormat(例如 TextInputFormat、KeyValueTextInputFormat、SequenceFileInputFormat)，隐藏文件(文件名以“_”或“.”开头)将被忽略。

您可以使用 FileInputFormat.setInputPathFilter设置您的自定义 PathFilter。请记住，hiddenFileFilter 始终处于事件状态。