gpt4 book ai didi

databricks - 在 DBFS 上输入文件的正确路径

转载 作者:行者123 更新时间:2023-12-04 12:53:07 26 4
gpt4 key购买 nike

我将文件上传到 DBFS:

/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv


我试图通过 Pandas 访问它们,但我总是收到此类文件不存在的信息。
我尝试使用以下路径:
/dbfs/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
dbfs/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
dbfs:/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
./FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv
有趣的是,当我通过 dbutils.fs.ls 检查它们时,我看到了所有文件。
我找到了这个解决方案,我已经尝试过了: Databricks dbfs file read issue
将它们移动到一个新文件夹:
dbfs:/new_folder/
我试图从这个文件夹访问它们,但仍然对我不起作用。唯一的区别是我将文件复制到了不同的地方。
我也检查了文档: https://docs.databricks.com/data/databricks-file-system.html
我使用 Databricks 社区版。
我不明白我做错了什么以及为什么会这样。
我没有其他想法。

最佳答案

/dbfs/挂载点在 Community Edition 上不可用(这是一个已知限制),因此您需要执行链接答案中的建议:

dbutils.fs.cp(
'dbfs:/FileStore/shared_uploads/name_surname@xxx.xxx/file_name.csv',
'file:/tmp/file_name.csv')
然后使用 /tmp/file_name.csv作为 Pandas 函数的输入参数。如果您需要向 DBFS 写入一些内容,那么您可以采取其他方式 - 写入本地文件 /tmp/... ,然后将该文件复制到 DBFS。

关于databricks - 在 DBFS 上输入文件的正确路径,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69594933/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com