基于源数据集负载的 Azure 数据工厂动态输出路径

Question

我有一项流分析工作，它不断将数据转储到 Cosmos DB 中。有效负载具有确定有效负载本身的属性“类型”。即哪些列包含在有效负载中。它是一个整数值 1 或 2。

我正在使用 Azure 数据工厂 V2 将数据从 Cosmos DB 复制到 Data Lake。我已经创建了一个包含执行此工作的事件的管道。我使用以下命令设置输出路径文件夹名称:

@concat('datafactoryingress/rawdata/',dataset().productFilter,'/',formatDateTime(utcnow(),'yyyy'),'/')

我在数据工厂中想要的是识别有效负载本身，即确定类型是1还是2，然后确定数据是否进入文件夹1或文件夹2。我想迭代Cosmos DB中的数据并确定消息类型并根据消息类型进行隔离并动态设置文件夹路径。

有办法做到这一点吗？我可以检查 Cosmos DB 文档来找出消息类型，然后如何根据该类型动态设置文件夹路径？

Answer 1

Is there a way to do that? Can I check the Cosmos DB document to findout the message type and then how do I set the folder path dynamicallybased on that?

不幸的是，基于doc ，到目前为止，adf 不支持源数据集的动态内容。您无法获取源数据中的字段作为接收器输出动态参数。根据您的情况，建议您设置两个独立的管道，分别根据Type字段传输数据。

如果类型字段有所不同，并且您确实希望区分输出路径，则 ADF 可能不是您合适的选择。您可以编写逻辑代码来满足您的需求。