hadoop - hdfs命令输出的处理结果

Question

这可能是有关流处理的问题。但是我无法使用awk找到一个优雅的解决方案。
我正在执行一项计划每天运行一次的m / r作业。但是可以在其上运行多个HDFS目录。例如，当天有3个输入目录上载到HDFS，因此每个目录需要运行3个m / r作业。

所以我需要一个解决方案，在这里我可以从以下结果中提取文件名:

hdfs dfs -ls /user/xxx/17-03-15*

然后遍历文件名，为每个文件启动一个m / r作业。

谢谢

Answer 1

浏览该问题的更多内容，我发现Hadoop为该问题提供了配置设置。 Here是详细信息。

另外，我只是遇到一些语法问题，而这个简单的awk命令确实做到了，我想要的是:

files=`hdfs dfs -ls /user/hduser/17-03-15* | awk {'print $8'}`