azure - 在数据工厂中创建 Azure Batch 事件

Question

我想在数据工厂管道中创建一个 Azure Batch 事件，我设置了一个触发器来检查过去 24 小时内新的“上次修改”Blob。
当我处理大文件时，我想利用 Azure Batch 的强大功能，并在同一台计算机上一次多处理 2 个 blob。
这是我到目前为止所做的管道:

第二个事件通过创建 {container name}/{blob} 的列表变量来操纵前一个事件的输出。
如何将我的 blob 地址分成小批处理，以便我可以将它们提供给下一个批处理事件？
谢谢

Answer 1

默认情况下，“ForEach”事件并行运行，因此默认情况下它将启动至少 20 个线程，最多 50 个线程，具体取决于您的输入进程。确保 ForEach 上的“顺序”框未选中:

如果您需要分成更大的组，例如每批 3 个，每批 5 个，那么这可能会有点棘手，我会寻找例如存储过程事件、Databricks 笔记本或 Synapse 笔记本来稍微做到这一点对我来说更复杂的工作。