file - 如何从 pyspark 中的 hdfs 获取目录的文件名列表？

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 3 年前。

Improve this question

我在 hdfs 中有一个目录，其中包含许多文件。我知道该目录的路径，并且我正在尝试获取该目录包含的文件名的列表。我怎样才能做到呢？

如果我有一个如下目录:

+dir/
    +f1
    +f2
    +fN

我想获得如下列表:

[f1, f2, fN]

Answer 1

您可以通过一点 py4j 魔法在 pyspark 中使用 HDFS(或任何其他兼容的 Hadoop 文件系统)API。要列出特定目录中的文件，请使用:

path = "/here/is/my/dir/"
fs = spark._jvm.org.apache.hadoop.fs.FileSystem.get(spark._jsc.hadoopConfiguration())
list_status = fs.listStatus(spark._jvm.org.apache.hadoop.fs.Path(path))
result = [file.getPath().getName() for file in list_status]

list_status 集合的元素类型为 FileSystem 。通过此 API，您可以获取文件元数据，例如目录、模式、所有者、组、acls 等信息，并使用这些信息过滤掉不需要的文件。