gpt4 book ai didi

mysql - 使用 Spring Batch 作为 ETL 时如何进行审计

转载 作者:行者123 更新时间:2023-11-29 05:02:33 25 4
gpt4 key购买 nike

<分区>

我需要使用 Spring Batch 作为 ETL 将数据从源数据库 (MySQL) 中的一组表迁移到目标数据库 (MySQL)< 中的另一组表/强>。目标表中的架构与源表中的架构不同,因此我使用处理器来转换数据以匹配目标架构。

我需要一个 block 一个 block 地迁移,即,就像按需一次(不是一次全部)的记录集一样。

我没有什么需要处理的。

1) 审核(确保所有数据都已迁移)

2) 回滚和重试(如果出错)

3)错误处理

4) 如何在迁移过程中保持源表新数据的更新(无停机时间)

以下是我的想法。

我将生成一个对于每个作业都是唯一的随机 ID(可能是一个每个作业的 UUID),然后在迁移时将其放入目标表(每行中的列)。

1) 审计:我的想法是对正在读取的记录进行计数,然后在迁移完成后将其与目标表的行进行比较。

2) 回滚和重试:如果审计检查记录数不匹配,我将删除所有具有batch UUID的行,然后启动再次批处理作业。

3) 错误处理:不确定我需要注意哪些其他情况,所以我只想记录错误。

4) Delta 更改:我正在考虑一次又一次地运行批处理作业以查找更改(使用 created_at、updated_at 列值),直到找到 0 条记录。

我想了解一下,是否可以通过更好的方式完成上述任何步骤?请提出建议。

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com