hadoop - 映射器中的多个输入文件夹位置

Question

有没有办法在Driver类中提供多个输入文件夹位置？

在这种情况下，我有4个输入文件夹位置，我们如何在驱动程序类中指定所有这4个文件夹位置，以便我的映射器可以从这4个不同文件夹中的所有文件中读取数据。

非常感谢...

Answer 1

您可以使用MultipleInputs类添加输入文件。

MultipleInputs.addInputPath(job, inputPath, TextInputFormat.class, MyMapper.class);

您可以将上述inputPath替换为文件位置，将TextInputFormat.class替换为输入文件格式，将MyMapper.class替换为映射器类。

这样，您可以根据需要添加任意数量的文件。