hadoop - 如何使用 hdfs shell 命令检查文件是否存在

Question

我是 hadoop 的新手，需要一点帮助。

假设如果我使用 shell 脚本在后台运行作业，我如何知道作业是否完成。我问的原因是，作业完成后，我的脚本必须将输出文件移动到其他位置。我如何使用 hdfs 检查作业是否已完成或输出文件是否存在。

谢谢MRK

Answer 1

您需要小心检测以这种方式完成的工作，因为在您的工作完全完成之前可能会有输出。

为了回答您的直接问题，为了测试是否存在，我通常会执行 hadoop fs -ls $output | wc -l 然后确保数字大于 0.

我的建议是你使用 && 来处理移动:

hadoop ... myjob.jar ... && hadoop fs -mv $output $new_output &

这将完成作业，然后执行移动。