gpt4 book ai didi

Azure:将新文件添加到数据湖存储时运行数据工厂事件

转载 作者:行者123 更新时间:2023-12-03 05:48:34 28 4
gpt4 key购买 nike

我在 Azure Data Lake 存储上有一个大型数据集,并且每天可能会添加/更新一些文件。如何在不每次读取整个数据集的情况下处理这些新文件?我需要使用数据工厂 V1 将这些新文件复制到 SQL Server。

最佳答案

如果您可以使用 ADF V2,则可以使用获取元数据事件来获取每个文件的 LastModifiedDate 属性,然后仅复制新文件。你可以引用这个文档。 https://learn.microsoft.com/en-us/azure/data-factory/control-flow-get-metadata-activity

关于Azure:将新文件添加到数据湖存储时运行数据工厂事件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50713367/

28 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com