azure - 是否有任何 Azure 数据工厂事件来获取 Cosmos 集合列表？

Question

Azure 数据工厂中是否有任何选项可以了解 Azure cosmos 帐户中特定数据库中可用的集合列表？

想要执行特定的事件 - 每次执行 Azure 数据工厂管道时，该事件都会返回 cosmos db 中的集合列表。

确切要求:想要从 cosmos db 的所有集合中复制数据，但 cosmos db 中的集合列表可能会随着时间的推移而变化。如果任何新集合已添加到 cosmos db，则需要动态地将新集合视为复制事件的一部分，而无需任何外部干预。

在 Azure 数据工厂中使用 Azure 函数事件查询 Cosmos 集合列表时，它返回如下输出，

{
"Response": "[{\"source\": 
 {\"collectionName\":\"model1\"},\"destination\": 
 {\"fileName\":\"model1.txt\"}},{\"source\": 
{\"collectionName\":\"model2\"},\"destination\": 
{\"fileName\":\"model2.txt\"}}]"
}

预期输出

{
"Response": [
    {
     source:{collectionName:model1},
     destination: {fileName:model1.txt}
    },
  {
  source:{collectionName:model2},
  destination:{fileName:model2.txt}}]
  }
 ]
}

为什么 Azure 函数事件将数组对象作为字符串返回？

p.s:当我与 V22017 或 azure 门户分开运行 azure 函数时，它将数组对象作为数组返回

Answer 1

我不确定是否存在直接方法，但您可以找到解决方法

1. 对此 API 进行 HTTP 调用 Get List of Collections 。进行 REST API 调用将确保您始终拥有最新数据。

解析 JSON 响应以获取集合。接下来可能是 For-Each 事件。

编辑 - 在答案中添加评论中的讨论

1. 创建一个可由 Web Activity 调用的 Http 触发器函数。
2. 在该函数内获取 AAD token
3. 调用 REST Api 获取 Cosmos 集合列表
4. 返回 json 数组作为响应
5. 在 ADF 中添加 For-each 事件以循环访问集合列表。