python - 无法直接从 GCP Databricks 上的 Pandas 读取

Question

通常在 Azure/AWS 上的 Databricks 上，要读取存储在 Azure Blob/S3 上的文件，我会挂载存储桶或 blob 存储，然后执行以下操作:

如果使用 Spark

df = spark.read.format('csv').load('/mnt/my_bucket/my_file.csv', header="true")

如果直接使用pandas，在路径中加入/dbfs:

df = pd.read_csv('/dbfs/mnt/my_bucket/my_file.csv')

我正在尝试使用 GCP 在 Databricks 的托管版本上做完全相同的事情，虽然我成功地安装了我的存储桶并使用 Spark 读取它，但我无法直接使用 Pandas 来完成，添加/dbfs不起作用，我得到一个 No such file or directory: ... 错误

你们中有人遇到过类似的问题吗？我错过了什么吗？

当我这样做的时候

%sh 
ls /dbfs

虽然我可以在 UI 中看到 dbfs 浏览器和我安装的存储桶和文件，但它没有返回任何内容

感谢帮助

Answer 1

它记录在 list of features not released yet 中:

DBFS access to local file system (FUSE mount).For DBFS access, the Databricks dbutils commands, Hadoop Filesystem APIs such as the %fs command, and Spark read and write APIs are available. Contact your Databricks representative for any questions.

因此在使用 Pandas 读取之前，您需要将文件复制到本地磁盘:

dbutils.fs.cp("/mnt/my_bucket/my_file.csv", "file:/tmp/my_file.csv")
df = pd.read_csv('/tmp/my_file.csv')