azure - 用于写入 SQL 数据库的 USQL 输出器

Question

我们有一个调用 API 并获取 json 文件的 Azure 进程。我们将该 json 存储在 Data Lake Store 上。然后，我有一个读取该文件的 USQL 事件，我想将该数据存储在 Azure 上的 SQL Server 数据库上(不要与数据湖分析数据库混淆:我们的目标是常规 SQL 数据库)。

我无法(并且我不确定是否可能)读取 json 并将其存储在数据库中。我认为如果有可能的话，那么我应该做的是创建一个自定义输出器来将数据发送到数据库，但没有找到任何关于如何通过谷歌搜索来做到这一点的信息。我发现的是this article我没有完全理解，也不知道它是否适用于我的情况，因为我正在使用所有数据工厂功能的 v2。文章说在某个时候

Therefore the model for writing results into a SQL database is to write output to ADLS and then use ADF or other copy mechanism to load the data into SQL.

所以我的问题是，我可以做一个自定义输出器来将数据从数据湖存储中的 json 文件加载到 SQL 数据库中吗？如果是这样，怎么办？

Answer 1

Data Lake Analytics 无法连接到外部服务，例如 Azure SQL。为此，您应该使用数据工厂。如果您的结构不太复杂，数据工厂能够处理 json 文件。如果 JSON 不是扁平的并且您需要执行更复杂的提取，您可以首先使用 U-SQL 脚本将数据输出到 Data Lake Analytics 中的 csv。然后，您可以将其导入到您的 (Azure) SQL 数据库。您可以在 Azure 进程完成后触发数据工厂管道。