mysql - 当我终止作业并再次运行时，Talend 作业截断记录

Question

我正在使用 Talend open studio for Data Integration 工具将 sql server 表数据传输到 mysql server 数据库。

我的表中有 4000 万条记录。我创建并运行了该作业，但在插入大约 2000 万个后，连接失败。

当我再次尝试插入数据时，talend 作业首先从表中截断数据，然后从头开始插入数据，

Answer 1

问题似乎不完整，但假设您希望表在每次加载之前不被截断，请检查“表上的操作”属性。应将其设置为“默认”或“如果不存在则创建表”。

现在，如果您的问题是处理作业的重新启动能力，其中作业应在下次运行时从 2000 万行恢复，有多种方法可以实现此目的。在您的情况下，由于您正在处理大量记录，因此拥有像分页这样的机制将有助于您以 block 的形式加载数据(假设一次 10000 条)并循环它，将提交间隔设置为 10000。每次成功输入后在包含 10000 条记录的数据库中，使用数据中的时间戳或增量键在一个日志表中创建一个条目(以标记检查点)。你的工作应该是这样的:tLoop--{从表中读取检查点}--tMSSqlInput--tMySqlOutput--{在表中加载新的检查点}