gpt4 book ai didi

Databricks - 下载 dbfs :/FileStore file to my Local Machine

转载 作者:行者123 更新时间:2023-12-04 16:38:07 26 4
gpt4 key购买 nike

通常我使用下面的 URL 从 Databricks DBFS FileStore 下载文件到我的本地计算机。

*https://<MY_DATABRICKS_INSTANCE_NAME>/fileStore/?o=<NUMBER_FROM_ORIGINAL_URL>*
但是,这次没有下载文件,而是将 URL 引导到 Databricks 主页。
有人对我如何将文件从 DBFS 下载到本地有任何建议吗?或者应该如何修复 URL 以使其工作?
任何建议将不胜感激!
PJ

最佳答案

Method1: Using Databricks portal GUI, you can download full results (max 1 millions rows).


enter image description here

Method2: Using Databricks CLI


要下载完整结果,首先将文件保存到 dbfs,然后使用 Databricks cli 将文件复制到本地机器,如下所示。
dbfs cp "dbfs:/FileStore/tables/my_my.csv" "A:\AzureAnalytics"
您可以使用 DBFS CLI、DBFS API、Databricks 文件系统实用程序 (dbutils.fs)、Spark API 和本地文件 API 访问 DBFS 对象。
在 Spark 集群中,您可以使用 Databricks 文件系统实用程序、Spark API 或本地文件 API 访问 DBFS 对象。
在本地计算机上,您可以使用 访问 DBFS 对象。 Databricks CLI DBFS API .
引用: Azure Databricks – Access DBFS
DBFS 命令行界面 (CLI) 使用 DBFS API 向 DBFS 公开易于使用的命令行界面。使用此客户端,您可以使用类似于在 Unix 命令行上使用的命令与 DBFS 交互。例如:
# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana
引用: Installing and configuring Azure Databricks CLI

Method3: Using third-party tool named DBFS Explorer


DBFS Explorer被创建为一种将文件上传和下载到 Databricks 文件系统 (DBFS) 的快速方法。这将适用于 Databricks 的 AWS 和 Azure 实例。您需要在 Web 界面中创建不记名 token 才能进行连接。
enter image description here

关于Databricks - 下载 dbfs :/FileStore file to my Local Machine,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/66685638/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com