azure - 在 ADF 中作为 Excel 接收

Question

我正在尝试将 SQL 表复制为 Excel 格式，当我看到 SDF 时，我们没有 Excel 作为接收器。有谁知道我们应该采取什么措施来实现，以便我可以将数据复制为 Excel 格式

如何使用 Excel 作为 Azure 数据工厂中的接收器？

Answer 1

目前，不支持 Excel 文件作为复制事件中的接收器。您可以提出相应的功能请求 here .

作为解决方法，您可以尝试 Databricks 或 Azure 函数从 SQL 表读取数据并将其写入 Excel 文件。调用 ADF 中使用 Databricks Notebook 事件或 Azure Functions 事件的事件。

这是一个使用 Databricks 笔记本的演示。为此，您需要将目标安装到dbfs。

首先安装xlsxwriter。

pip install xlsxwriter

代码:

%python
#read the SQL table as pyspark dataframe using JDBC
Server_name = "<server_name>.database.windows.net"
Database = "<database_name>"
Port = "<port_name>"
user_name = "<user_name>"
Password = "<password>"
jdbc_Url = "jdbc:sqlserver://{0}:{1};database={2}".format(Server_name, Port,Database)
conn_properties = {
"user" : user_name,
"password" : Password,
"driver" : "com.microsoft.sqlserver.jdbc.SQLServerDriver"
}
df=spark.read.jdbc(url=jdbc_Url,table="sample1",properties=conn_properties)

#Convert pyspark dataframe to pandas dataframe and write it to excel file
pandas_df = df.toPandas()
pandas_df.to_excel('excel1.xlsx', engine='xlsxwriter')

现在，将 Excel 文件移动到安装位置。

%sh
sudo  mv excel1.xlsx /dbfs/mnt/data1/

现在，使用 ADF 中的 Notebook 事件执行此 Notebook。

Excel 文件:

您可以在 Azure 函数中使用 Python 代码执行与上面相同的操作。