azure - 在Azure databricks中，如何动态创建基于json配置的表？

Question

我在基于 ADLS 容器的位置中有这个 tableConfig.json 。

它具有表格特定的详细信息。

{
 "tableName":"employee",
 "databaseName": "dbo",
 "location" : "/mnt/clean/demo",
"colsList" : ["emp_id","emp_name","emp_city"]

}

现在我想在 azure databricks python 笔记本中读取 tableConfig.json 。并动态创建create table并执行，这样就会创建一个delta表

CREATE TABLE <databaseName.tableName>
(<colsList>)
USING delta
LOCATION <location> 

我们有什么方法可以做到这一点吗？

基本上我想要创建一个笔记本，如果我们执行它，那么它应该根据 json 配置创建增量表

Answer 1

我认为还没有基于配置文件创建表的选项，但我们可以迭代 json(dict) 并创建表。

示例:

abc = [{
 "tableName":"employee",
 "databaseName": "dbo",
 "location" : "/mnt/clean/demo",
"colsList" : ["emp_id","emp_name","emp_city"]
}]

for i in abc:
  print(f"""spark.sql("CREATE TABLE {i['databaseName']}.{i['tableName']} USING delta location '{i['location']}'")""")

#spark.sql("CREATE TABLE dbo.employee USING delta location '/mnt/clean/demo'")