gpt4 book ai didi

hadoop - hadoop 中的数据存储复制与云中的雪花

转载 作者:可可西里 更新时间:2023-11-01 16:34:58 25 4
gpt4 key购买 nike

在hadoop中,为了容错,数据被复制三次(默认)例如:如果输入数据的大小为 5 GB,则数据将复制 15 GB,并在转换后将数据存储在其他存储区域(5 GB)中。总计(在 hadoop 中)= 25gb

然后数据是如何在雪花中存储和复制的。与hadoop相比,snowflake架构有存储复制吗?雪花=?

最佳答案

Snowflake 本身不复制数据,但是,它使用云供应商特定的对象存储,通常提供多级复制(例如 S3 in Amazon AWS 用于 AWS 托管的 Snowflake 区域)。另见例如section 4.2.1 in Snowflake's 2016 SIGMOD paper .

如果您从成本角度询问,复制对用户是隐藏的,“标价”是用户支付的费用。请注意,Snowflake 按压缩 数据大小收费。根据数据的不同,该大小可以小于或大于输入大小。

关于hadoop - hadoop 中的数据存储复制与云中的雪花,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57178713/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com