json - 在复制数据中从 Source 到 Sink 丢失数据

Question

在我的 MS Azure 数据工厂中，我有一个到嵌套 JSON 数据集的 rest API 连接。源“预览数据”显示所有数据。 (在线商店的 7 个订单)

在“事件复制数据”中，是菜单选项卡“映射”，我在其中将 JSON 字段与接收器 SQL 表列进行映射。如果我在“Collection Reference”下选择 None，所有 7 个订单都会被复制。但是如果我想要嵌套的元数据，我在“集合引用”中选择元字段，然后我得到我的嵌套数据，在多个订单行中，每个都有一个元数据点，但我只从 1 个订单中获取数据，而不是 7

我想我的问题是有原因的。嵌套元数据中的字段之一，既是字符串又是数组。但是我仍然没有解决方案

sceen shot of meta data

Answer 1

你的感觉是对的，它是由你的嵌套结构元数据引起的。基于statements集合引用属性:

If you want to iterate and extract data from the objects inside an array field with the same pattern and convert to per row per object, specify the JSON path of that array to do cross-apply. This property is supported only when hierarchical data is source.

我认为相同的模式是这里的关键点。但是，元数据数组中的数据与屏幕截图不同。

我的解决方法是使用 Azure Blob 存储进行转换，REST API ---> Azure Blob 存储--->你的接收器数据集。在 Blob 存储数据集中，您可以使用 Cross-apply nested JSON array 设置来展平传入的 JSON 数据:

你可以引用这个blog了解此功能。然后您可以将展平数据复制到您的目的地。