linux - 列出 hdfs 中的文件并将输出附加到文本文件

Question

我想根据条件列出 hadoop 中的文件并将输出附加到文本文件。以下是我正在使用的命令

hadoop fs -ls /path/ | grep 'xxx' | awk '{print $8}' >> /hdfs_path/test.txt

当我执行上面的命令时，出现以下错误

-bash: /hdfs_path/test.txt: No such file or directory

但文件存在于目录中。

Answer 1

问题是 stdout 重定向只知道你的本地文件系统，对 Hadoop 一无所知，也不能直接写入它。您需要坚持使用 hadoop fs 或更新的 hdfs dfs 命令进行 hdfs 交互。

尝试 appendToFile作为您的管道命令。

用法:hdfs dfs -ls/your/hdfs/path | grep 'xxx' | hdfs dfs -appendToFile - hdfs://your.hdfs.system/your/hdfs/path/paths.txt

我唯一的其他选择是将输出保存到您的本地文件系统，并在完成后将其上传到 HDFS，如果您需要的话。