azure - 通过 adf 中的查找和时间戳进行增量加载

Question

我想要从 informieren DB 到 azure sql db 进行增量加载。我使用查找从 sql 数据库获取最新时间戳，因为完全加载已经完成，我想使用查找输出来进行增量加载。这是我的查询

从 informixdb 选择 *，其中从 informixdb 选择 max(systemtimestamp)) > @{activity('LookupSYS_TIME).output}

Answer 1

要增量加载数据，您可以按照以下步骤操作:

就我而言，我将数据从 db 数据库增量加载到 db1 数据库。我在查找事件中运行以下查询:

SELECT MAX(systemtimestamp) AS MaxTimestamp FROM student

成功运行查找事件后，添加的复制事件选择数据库作为源并将以下查询添加到查询选项卡:

Select * from student where systemtimestamp > '@{activity('LookupSYS_TIME').output.firstRow.MaxTimeStamp}'

我设置接收器配置如下:

成功执行管道后，数据增量加载到 db1 中: