gpt4 book ai didi

aws-glue - AWS glue 每次都将完整数据从源复制到目标,即使有书签也是如此

转载 作者:行者123 更新时间:2023-12-04 16:08:05 27 4
gpt4 key购买 nike

我有一个从 aws glue 控制台中的向导生成的胶水作业。我没有更改生成任务时的默认脚本。它从 posgres 数据库表(源)获取数据并写入另一个 postgres 数据库(目标)。我在ide中选择了启用书签。每当任务运行时,它会将完整的源数据库表复制到目标表,即使源中没有插入、更新或删除也是如此。我知道启用书签后,它应该只复制上次运行时源代码中的更改,但这并没有发生。因此,如果源表中有 4 行,则每次任务运行时,它都会将所有 4 行添加到目标,并且目标的行数增加 1。如何让它只处理上次对源数据的更改运行?此外,它如何添加书签?如果在两次运行之间修改了一行(更新 sql 语句),它将如何只“更新”正确的行?

最佳答案

书签仅在两个 S3 端点之间复制数据时有效。不支持 JDBC/ODBC。

关于aws-glue - AWS glue 每次都将完整数据从源复制到目标,即使有书签也是如此,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47868828/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com