hadoop - 如何在hadoop中为同一输入参数传递多个文件

Question

我有两个输入文件，我需要在Hadoop中的相同参数下传递这两个文件。

EG: hadoop jar somemainclass -D testInput=file1,file2 

我不想根据某些用户条件将文件合并为一个文件。
我尝试给参数-D testInput两次，但是只获取了最后一个文件，而不获取了第一个文件。

Answer 1

如果您传递相同参数的多个实例，则第一个实例的值将被第二个实例的值覆盖。

您可以通过用逗号分隔值来为同一参数指定多个值。

例如

<property>
   <name>yarn.resourcemanager.zk-address</name>
   <value>zk1:2181,zk2:2181,zk3:2181</value>
 </property> 

因此，在通过命令行传递值时，您可以指定-DtestInput = file，file2