azure - Databricks SQL 查询嵌套文件夹

Question

我已成功将 Azure 存储添加为 Azure Databricks 上的源。 https://docs.databricks.com/spark/latest/data-sources/azure/azure-storage.html

我还成功创建了读取静态文件文件夹的表。 https://docs.databricks.com/user-guide/tables.html

我想要做的是创建一个从文件夹中递归读取文件的表。

这些解决方案都不起作用:

• Hive create table with inputs from nested sub-directories
• https://community.hortonworks.com/questions/42909/merge-multiple-directories-into-one-table-in-hive.html

Answer 1

回答这个问题以供将来引用，因为当我搜索类似问题的解决方案时，谷歌将我指向了此页面:)尝试这个

使用 parquet 位置“<父目录>”选项创​​建表 test45(id bigint)(recursiveFileLookup=true);