configuration - 如何让hadoop程序使用包含参数列表的配置文件？

Question

我写了一个hadoop程序，我知道我可以直接使用args[]向hadoop传递参数，我的意思是目前是这样的

ToolRunner.run(new Configuration(), new RunDear(), args); 

但是如果有很多参数，我可以做一个像下面这样的配置文件并传递给hadoop吗？该文件应该位于本地文件系统还是 hdfs 中？

sample_size 200
input_genotype_file /data/genotypes.txt 
input_phenotype_file /data/phenotypes.txt
output_directory /outout 
mtry 200
ntree 3000
distance 0 (e.g. 0=euclidean, 1=mehalanobis
variable_important 0 (e.g. 0=information gain, 1=permutation)
etc….

Answer 1

您可以将文件放入分布式缓存中，然后将配置中的文件名传递给您的任务。