azure - Azure 数据工厂管道中的批处理

Question

我是 ADF 管道的新手。我想从本地本地读取文件并批量复制到特定大小 (2 GB) 的 ADLS。例如，如果有 200 个文件，它将读取所有文件并按顺序将文件组(< 2GB)传递到下一个进程/管道。那么，如何添加ADF中文件的大小呢？

Answer 1

您可以通过多次调用“获取元数据”事件来获取文件大小，这里有一个很好的示例 here如何做到这一点。使用子项字段时，获取元数据事件不会返回文件大小。如果您指定单个文件，则可以获得 Size。用于本地或云数据源的其他一些潜在方法，例如自定义事件 - 例如运行一些批处理命令、Web 事件 - 例如调用存储 api、笔记本 - 例如运行一些 python。

另一种方法是使用复制事件的每个文件的最大行数选项:

对于给定的表，您可以指定每个文件的最大行数，这将接近 2GB 文件大小，因此是不同的方法，但结果相同。