hadoop - `find` 中是否有 `hadoop` 命令的等价物？

Question

我知道可以从终端执行find 命令来查找文件，例如:

find . -type d -name "*something*" -maxdepth 4 

但是，当我在hadoop文件系统中时，我还没有找到这样做的方法。

hadoop fs -find ....

抛出一个错误。

人们如何在hadoop中遍历文件？我正在使用 hadoop 2.6.0-cdh5.4.1。

Answer 1

hadoop fs -find 是在 Apache Hadoop 2.7.0 中引入的。很可能您使用的是旧版本，因此您还没有。参见:HADOOP-8989获取更多信息。

同时你可以使用

hdfs dfs -ls -R <pattern>

例如:hdfs dfs -ls -R/demo/order*.*

但这当然不如“查找”强大，并且缺乏一些基础知识。据我了解，人们一直在围绕它编写脚本来解决这个问题。