python - 从 Python 检查 HDFS 中是否存在文件

Question

因此，我一直在使用 Python 中的 fabric 包为各种 HDFS 任务运行 shell 脚本。

但是，每当我运行任务来检查 HDFS 中是否已经存在文件/目录时，它只会退出 shell。这是一个示例(我使用的是 Python 3.5.2 和 Fabric3==1.12.post1)

from fabric.api import local


local('hadoop fs -stat hdfs://some/nonexistent/hdfs/dir/')

如果目录不存在，则此代码产生

[localhost] local: hadoop fs -stat hdfs://some/nonexistent/hdfs/dir/ stat: `hdfs://some/nonexistent/hdfs/dir/': No such file or directory

Fatal error: local() encountered an error (return code 1) while executing 'hadoop fs -stat hdfs://some/nonexistent/hdfs/dir/'

Aborting.

我也试过 local('hadoop fs -test -e hdfs://some/nonexistent/hdfs/dir/') 但它导致了同样的问题。

我如何使用 fabric 生成一个 bool 变量来告诉我目录或文件是否存在于 hdfs 中？

Answer 1

您可以只检查从 local 返回的结果对象的 succeeded 标志。

from fabric.api import local
from fabric.context_managers import settings

file_exists = False
with settings(warn_only=True):
    result = local('hadoop fs -stat hdfs://some/nonexistent/hdfs/dir/', capture=True)
    file_exists = result.succeeded