azure-sql-database - 流分析 - 如何处理引用输入中的 json

Question

我有一个 Azure 流分析 (ASA) 作业，用于处理来自事件中心的设备遥测数据。该流应与 SQL 表中的引用数据连接，以使用附加设备元数据增强每条消息。合并的条目应存储在 CosmosDb 中。

用于提供设备元数据的 SQL 数据库:

CREATE TABLE [dbo].[MyTable]
(
  [DeviceId] NVARCHAR(20) NOT NULL PRIMARY KEY, 
  [MetaData] NVARCHAR(MAX) NULL   /* this stores json, which can vary per record */
)

在 ASA 中，我使用简单的查询配置了引用数据输入:

SELECT DeviceId, JSON_QUERY(MetaData) FROM [dbo].[MyTable]

我有执行连接的主 ASA 查询:

WITH temptable AS (
SELECT * FROM [telemetry-input] TD PARTITION BY PartitionId
LEFT OUTER JOIN [metadata-input] MD
ON TD.DeviceId = MD.DeviceId
)

SELECT TD.*, MD.MetaData 
INTO [cosmos-db-output] 
FROM temptable PARTITION BY PartitionId

一切正常，合并的数据存储在 CosmosDb 中。但是，来自 sql 的元数据列的值被视为字符串，并使用引号和转义字符存储在 COMOS 中。示例:

{ "DeviceId" : "abc1234", … , "MetaData" : "{ \"TestKey\": \"test value\" }" };

有没有办法将元数据中的 json 处理和存储为正确的 Json 对象，即

{ "DeviceId" : "abc1234", … , "MetaData" : { "TestKey": "test value" } };

Answer 1

我找到了在 ASA 中实现它的方法 - 你需要创建 javascript user function :

function parseJson(strjson){
          return JSON.parse(strjson);
}

并在您的查询中调用它:

...
SELECT TD.*, udf.parseJson(MD.MetaData)
...