json - 使用 DataFlow 解析来自 API 的 JSON 响应

Question

如何将 API 的 JSON 响应解析为 CSV？目前，API 响应作为 JSON 文件存储在 Blob 存储上，我现在想要解析它并将其另存为 CSV 文件。

这是 JSON 响应的子集作为示例，

{
  "reports": [
    {
      "columnHeader": {
        "dimensions": [
          "ga:dimension2",
          "ga:dimension1",
          "ga:dimension4",
          "ga:dimension6"
        ],
        "metricHeader": {
          "metricHeaderEntries": [
            {
              "name": "ga:newUsers",
              "type": "INTEGER"
            }
          ]
        }
      },
      "data": {
        "rows": [
          {
            "dimensions": [
              "Australia",
              "Hong Kong",
              "HKNG",
              "not set"
            ],
            "metrics": [
              {
                "values": [
                  "1"
                ]
              }
            ]
          },
          {
            "dimensions": [
              "Australia",
              "Malaysia",
              "KL",
              "not set"
            ],
            "metrics": [
              {
                "values": [
                  "1"
                ]
              }
            ]
          }
        ]
      }
    }
  ]
}

所需的output.csv文件应具有来自JSON文件的data键的列标题。

the column header would ideally be like this,
+-----------+------------+------------+------------+-------------+
|dimension1 | dimension2 | dimension4 | dimension6 | metric_value|
+-----------+------------+------------+------------+-------------+
| Australia | Hong Kong  | HKNG       | not set    | 1           |
| ...       | ...        | ....       | ...        | ...         |
+-----------+------------+------------+------------+-------------+

Answer 1

要解析来自 API 的 JSON 响应并将其保存为 Azure 数据工厂 (ADF) 数据流中的 CSV 文件，可以使用以下步骤:

• 在数据流中进行源转换，并从 Blob 存储中获取 JSON 文件作为源数据集。将 documentForm 选项设置为 arrayOfDocuments。这将表明 JSON 文件包含对象数组。

• 进行选择转换，并将 reports 数组中第二个对象的 data 字段映射到名为 data 的新列。

数据=报告[1].data

• 进行扁平化转换，并展开 data 的 metrics 字段中的 values 数组柱子。将dimensions 和values 字段映射到新列。

• 然后进行派生转换，根据维度和值列创建新列。创建名为 dimensions2、dimensions1、dimensions4、dimensions6 和 metric_values 的新列在这里。

• 进行选择转换就是选择dimensions2、dimensions1、dimensions4、仅Dimensions6和metric_values字段。

• 然后使用 csv 数据集进行接收器转换。

输出:

当包含此数据流的管道运行时，Json 数据将以所需格式复制到 csv 文件。