java - 是否可以在没有输入文件的情况下在 Hadoop 集群上运行 map/reduce 作业？

Question

当我尝试在 Hadoop 集群上运行 map/reduce 作业而不指定任何输入文件时，出现以下异常:

 java.io.IOException: No input paths specified in job

好吧，我可以想象在没有输入文件的情况下运行作业确实有意义的情况。生成测试文件就会这样。有可能用 Hadoop 做到这一点吗？如果没有，您是否有生成文件的经验？有没有更好的方法然后将虚拟文件与集群上的一条记录一起用作生成作业的输入文件？

Answer 1

文件路径与基于 FileInputFormat 的输入相关，如 SequenceInputFormat 等。但是从 hbase、数据库读取的输入格式不从文件读取，因此您可以自己实现 InputFormat 并在 getSplits、RecordReader 中定义自己的行为，创建记录阅读器。如需了解，请查看 TextInputFormat 类的源代码。