azure - Azure Databricks DBFS 数据集存储在哪里？

Question

我将数据上传到Azure Databricks，可以看到DBFS列表中有数据集，但在Databricks所属的资源组中找不到任何数据集。

Azure Databricks DBFS 数据集存储在哪里？

此外，如果我创建 Delta Lake，如何从 Azure 数据工厂调用 Delta Lake？我看不到三角洲湖储存在哪里。

Answer 1

Where are Azure Databricks DBFS datasets stored?

DBFS 中的默认存储位置称为DBFS 根。您可以在 /databricks-datasets 中找到任何数据集:请参阅 special DBFS Root location .

Databricks 文件系统 (DBFS) 是安装到 Azure Databricks 工作区中的分布式文件系统，可在 Azure Databricks 群集上使用。 DBFS 位于可扩展对象存储 ADLS gen2 之上。

how can I call the delta lake from Azure Data factory?

您可以引用此视频，也可以引用以下引用资料:

https://www.youtube.com/watch?v=evqQRwsF_Ps

引用:

https://learn.microsoft.com/en-us/azure/data-factory/connector-azure-databricks-delta-lake?tabs=data-factory

https://learn.microsoft.com/en-us/azure/databricks/data/databricks-file-system#--important-information-about-dbfs-permissions

https://learn.microsoft.com/en-us/azure/databricks/data/databricks-datasets