hadoop - 如何为Java hadoop设置-file选项？

Question

如何将hadoop程序所需的文件复制到所有计算节点？我知道hadoop流的-file选项可以做到这一点。我该如何针对Java + Hadoop？

Answer 1

完全一样。

假设您使用ToolRunner / Configured / Tool模式，则在运行mapper / reduce / combiner任务时，在-files选项之后指定的文件将位于本地目录中:

public class Driver extends Configured implements Tool {
    public static void main(String args[]) {
        ToolRunner.run(new Driver(), args);
    }

    public int run(String args[]) {
        Job job = new Job(getConf());
        // ...
        job.waitForCompletion(true);
    }
}

public class MyMapper extends Mapper<K1, V1, K2, V2> {
    public void setup(Context context) {
        File myFile = new File("file.csv");
        // do something with file
    }


    // ...
}

然后，您可以执行以下操作:

#> hadoop jar myJar.jar Driver -files file.csv ......

有关更多信息，请参见Javadoc的 GenericOptionsParser。