powershell - 导入表数据并使用databricks将其另存为json文档在adls gen2中

Question

我正在使用以下代码从sql server表生成json结果集。
Powershell:

$InstanceName = "SQLTEST1\ENG_TST1"
$connectionString = "Server=$InstanceName;Database=dbadb;Integrated Security=True;"

$query = "SELECT * FROM dbo.sales"

$connection = New-Object System.Data.SqlClient.SqlConnection
$connection.ConnectionString = $connectionString

$connection.Open()
$command = $connection.CreateCommand()
$command.CommandText = $query

$result = $command.ExecuteReader()

$table = new-object "System.Data.DataTable"

$table.Load($result)

$table | select $table.Columns.ColumnName | ConvertTo-Json

$connection.Close()

您能否指导我使用Azure Databricks将json文档存储在Azure Data Lake Storage Gen2中。

Answer 1

您可以根据需要使用df.write.json API写入任何特定位置。
语法: df.write.json('location where you want to save the json file') 示例: df.write.json("abfss://<file_system>@<storage-account-name>.dfs.core.windows.net/iot_devices.json")以下是使用Azure Databricks将JSON文档保存到Azure Data Lake Gen2的步骤。
步骤1:您可以使用spark.read.json API读取json文件并创建一个数据框。
步骤2:可以使用以下文档中的说明将blob存储位置挂载到databricks dbfs目录中
https://docs.microsoft.com/en-us/azure/databricks/data/data-sources/azure/azure-datalake-gen2
步骤3:然后使用df.write.json API写入装载点，该装载点将写入Blob存储
有关更多详细信息，请参阅以下文章:
Azure Databricks – JSON files
样本笔记本: https://docs.microsoft.com/en-us/azure/databricks/_static/notebooks/adls-passthrough-gen2.html