azure - 将所有 API 结果提取到单个 CSV 文件 Azure 数据工厂

Question

我收到了来自 API 的 JSON 响应，并且在名为“数据”的部分中包含了一堆项目信息。在此部分中，您将找到“ReleasePackageId”、“名称”和“版本”等详细信息。此外，响应还包含一些分页内容，例如“TotalCount”、“PageIndex”和“PageSize”。

我想要做的是使用 Azure 数据工厂从所有这些 API 数据中创建一个 CSV 文件。但事情是这样的:API 以 block 的形式提供数据，并且每次的项目总数可能不同(现在是 88)。因此，我需要处理这些 block 并将所有内容放入一个 CSV 中。

在 ADF 的世界中，我可以使用一些帮助以最智能的方式来浏览这些分块的 API 响应并获取数据。有什么建议吗？

Answer 1

使用 ADF 将 API 结果提取到单个 CSV 文件中的方法有两种

<强>1。如果您的 API 包含分页，那么您可以使用 Rest API connector在 api 上分页并获取结果并将结果存储在 CSV 文件中

• 首先使用 REST API 连接器创建链接服务，并使用分页设置您的 API
• 在源代码中根据您的要求设置分页。
• 将接收器设置为 CSV 文件并相应设置正确的映射。
• 输出

<强>2。如果您想将复制事件中来自 Http Connector 的数据存储到单个 CSV 文件中。

• 首先在 for every use 复制事件下，将源与 API 一起添加为 HTTP 连接器，并将数据存储到 Json 文件中。

• 通过正确的映射，将其存储在 blob 存储中的 json 文件中。

• 进行另一次复制事件，将该 Json 文件合并到单个 CSV 文件以及正确的映射。

• 输出