linux - Pyspark 按目录中的 filtetypes 列出文件

Question

我想在目录中按文件类型列出文件。该目录有 .csv、.pdf 等文件类型，我想列出所有 .csv 文件。

我正在使用以下命令

dbutils.fs.ls("/mnt/test-output/*.csv")

我希望获得该目录中所有 csv 文件的列表。

我在数据 block 中收到以下错误

java.io.FileNotFoundException: No such file or directory: /test-output/*.csv

Answer 1

尝试使用带有 %sh 的 shell 单元格。您也可以从那里访问 DBFS 和 mnt 目录。

%sh
ls /dbfs/mnt/*.csv

应该给你这样的结果

/dbfs/mnt/temp.csv

%fs 是 dbutils 的快捷方式及其对文件系统的访问。 dbutils 不支持所有 unix shell 函数和语法，所以这可能是您遇到的问题。另请注意，在运行 %sh 单元时，我们如何使用 /dbfs/ 访问 DBFS。