gpt4 book ai didi

linux - Pyspark 按目录中的 filtetypes 列出文件

转载 作者:塔克拉玛干 更新时间:2023-11-03 00:31:31 25 4
gpt4 key购买 nike

我想在目录中按文件类型列出文件。该目录有 .csv、.pdf 等文件类型,我想列出所有 .csv 文件。

我正在使用以下命令

dbutils.fs.ls("/mnt/test-output/*.csv")

我希望获得该目录中所有 csv 文件的列表。

我在数据 block 中收到以下错误

java.io.FileNotFoundException: No such file or directory: /test-output/*.csv

最佳答案

尝试使用带有 %sh 的 shell 单元格。您也可以从那里访问 DBFS 和 mnt 目录。

%sh
ls /dbfs/mnt/*.csv

应该给你这样的结果

/dbfs/mnt/temp.csv

%fsdbutils 的快捷方式及其对文件系统的访问。 dbutils 不支持所有 unix shell 函数和语法,所以这可能是您遇到的问题。另请注意,在运行 %sh 单元时,我们如何使用 /dbfs/ 访问 DBFS。

关于linux - Pyspark 按目录中的 filtetypes 列出文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57615150/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com