csv - AWS 数据管道 - 如何使用它进行增量 RDS 数据更新？

Question

我遇到了一种情况，我正在使用数据管道从存储在 S3 中的 csv 文件导入数据。对于初始数据加载，数据管道执行良好。

现在我需要使该数据库保持最新状态并同步到本地数据库。这意味着将有一组 CSV 文件传入 S3，这将是对某些现有记录、新记录或删除的更新。我需要通过数据管道在 RDS 上更新它。

问题 - 数据管道是否可以为此目的而设计，或者仅用于一次性数据加载？如果可以用于增量更新，那我该怎么做。

非常感谢任何帮助!

Answer 1

是的，您需要进行更新和插入(又名更新插入)。

如果您有一个包含键:key_a、key_b 和其他列:col_c、col_d 的表，您可以使用以下 SQL:

在重复键更新时将值 (?,?,?,?) 插入到 TABLENAME (key_a, key_b, col_c, col_d) 中 col_c=values(col_c), col_d=values(col_d)