mysql - 使用 NIFI 在增量提取中摄取重复记录，

Question

我正在设计一个使用 NIFI 获取增量提取的工作流，源数据库和目标数据库都在 MySQL 中。处理器是 QueryDatabaseTable 和 spiltAvro 和 convertAvroToJson 和 convertJsonToSQL 和 PutSQL 如下图

querydatabasetable的配置参数如下

现在源数据库表只有 200 条记录，当我启动流程时，流程重复摄取相同的记录。

我已将最大值列设置为createTime，这是时间戳，它的值为

2017-12-07 18:48:23

所有 200 条记录。

我还用 ID 替换了 ma​​ximum-value columns 但这也导致了同样的问题。是什么导致了这种反复摄入？

Answer 1

基于 covertJSONtoSQL returning empty values in NiFi 中的建议通过@mattyb，我将 spiltAvro 和 convertAvroToJson 以及 convertJsonToSQL 和 PutSQL 替换为 PutDatabaseRecord 处理器，并且它适用于增量摄取。

ma​​ximum-value columns 属性已设置为 ID,time_stamp