gpt4 book ai didi

snowflake-cloud-data-platform - 更好地控制雪花中的表锁定

转载 作者:行者123 更新时间:2023-12-05 08:51:27 25 4
gpt4 key购买 nike

我们需要在 Snowflake 中的同一个表上运行多个合并语句。我们现在面临的挑战之一是每个合并语句(导致更新)似乎会阻止其他合并。每个合并语句处理属于非重叠键列(又名租户)的数据。数据量在租户之间分布不均。

所以我们想,也许如果我们使用租户作为集群键来集群表(我读过文档说集群对较小的表没有帮助,但我想我还是会试一试),我们会最终每个租户都有一个微分区,因此不会再发生更新阻塞。但是我们注意到集群键并不能保证每个租户都有一个唯一的微分区。不幸的是,正如预期的那样,只有 23 个分区可供 100 个租户使用,并且阻塞仍在继续。

在检查锁时,我们看到它保持在 PARTITIONS 上(我假设它是微分区。)

enter image description here

我想知道 Snowflake 中是否有任何机制可以改善更新阻塞或控制进入微分区的数据的方法。

最佳答案

据我所知,没有一种简单的方法可以改进更新阻塞,也没有一种方法可以控制/保证进入 Snowflake 中的微分区的数据。作为docs声明“UPDATE、DELETE 和 MERGE 语句持有锁,这些锁通常会阻止它们与其他 UPDATE、DELETE 和 MERGE 语句并行运行”——因此一般鼓励尽可能批量更新/删除。

但有一个想法:是否可以根据您拥有的租户组拥有多个“暂存表”(这样每个租户都可以通过合并独立操作而不会阻塞)并将它们组合到下游/最终表格或 View ?

关于snowflake-cloud-data-platform - 更好地控制雪花中的表锁定,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59953560/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com