java - 获取添加到 Hadoop MR 作业的输入文件数

Question

如何获取在调用 FileInputFormat.addInputPath 和 FileInputFormat.addInputPaths 时添加的输入文件的数量。我正在尝试添加与某种模式匹配的输入文件，如果没有文件与该模式匹配并且此 MR 作业没有输入文件，我想向用户记录一条消息，根本不提交该作业。

谢谢，

文卡特

Answer 1

FileInputFormat 将数据存储在名为 ma​​pred.input.dir 的 Configuration 变量中，因此您可以使用以下内容:

Configuration conf = job.getConfiguration();
String dirs = conf.get("mapred.input.dir");
String[] arrDirs = dirs.split(",");
int numDirs = arrDirs.length;

执行此操作的源代码的相关部分是:

conf.set("mapred.input.dir", dirs == null ? dirStr : dirs + "," + dirStr);