gpt4 book ai didi

hadoop - 谷歌云存储

转载 作者:可可西里 更新时间:2023-11-01 16:22:29 25 4
gpt4 key购买 nike

我有以下用例:我需要使用 PySpark 分析大量结构化数据。数据当前为 CSV 格式。我正在尝试找出将数据存储在谷歌云上的最佳方式。我的理解是 HDFS 不会工作,因为每次集群关闭时 HDFS 数据都会消失,所以我每次都必须从 CSV 转换为 HDFS,这很耗时。似乎正确的策略是使用 BigQuery,但我无法确定 BigQuery 是否持久?

最佳答案

BigQuery 是持久的,是的,那么您应该检查 SLA 是否适合您。目前,SLA 的每月数据可用性 >= 99.9%。

您还可以存储在存储桶中,存储在 Google Cloud Storage 中。根据您访问该数据的频率,您有不同的价格:https://cloud.google.com/storage/

Google 可帮助您选择存储选项,请查看其文档的该页面:https://cloud.google.com/storage-options/

关于hadoop - 谷歌云存储,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/44788063/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com