gpt4 book ai didi

snowflake-cloud-data-platform - 对转换表的增量更新

转载 作者:行者123 更新时间:2023-12-05 03:30:39 24 4
gpt4 key购买 nike

我正在尝试将 ELT 管道设置到 Snowflake 中,它涉及加载后的转换。

此转换当前将在对 JSON 数据执行一些操作后使用从 Snowflake 中的源表查询的数据创建或替换表。

我的问题是,这是通过在每次转换运行时创建或替换表来执行此操作的正确方法,还是有一种方法可以增量更新转换后的表中的数据?

任何建议将不胜感激!

谢谢!

最佳答案

可以Insert到load(source)表,放入stream,就可以知道需要“review”的行,行范围,然后upsert到输出转换表中。

那是你在做类似“每日聚合”的事情,因此如果在“这批中你有过去 4 天的数据,然后你从源读取数据的”最后四天“(空间完整读取)并且然后通过合并命令聚合和更新插入。因此,使用模型,您可以保存读取/聚合/写入。

我们还使用了高水位表来了解最后一次看到的数据和/或当前批处理中的最低值。

关于snowflake-cloud-data-platform - 对转换表的增量更新,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/70780421/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com