gpt4 book ai didi

python-3.x - 在Databricks(DBFS)中递归列出目录和子目录的文件

转载 作者:行者123 更新时间:2023-12-04 12:19:27 26 4
gpt4 key购买 nike

使用python/dbutils,如何在Databricks文件系统(DBFS)中递归显示当前目录和子目录的文件。

最佳答案

关于 dbutils.fs.ls (和 %fs 魔法命令)的令人惊讶的事情是它似乎不支持任何递归开关。但是,由于 ls 函数返回 FileInfo 对象的列表,因此递归地迭代它们以获取全部内容非常简单,例如:

def get_dir_content(ls_path):
dir_paths = dbutils.fs.ls(ls_path)
subdir_paths = [get_dir_content(p.path) for p in dir_paths if p.isDir() and p.path != ls_path]
flat_subdir_paths = [p for subdir in subdir_paths for p in subdir]
return list(map(lambda p: p.path, dir_paths)) + flat_subdir_paths


paths = get_dir_content('/databricks-datasets/COVID/CORD-19/2020-03-13')
[print(p) for p in paths]

关于python-3.x - 在Databricks(DBFS)中递归列出目录和子目录的文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/63955823/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com