google-bigquery - 从 BigQuery(联合/外部查询)查询不同 GCS 存储类中的文件/数据需要多少费用？

Question

我有 2 个 GCS 存储桶，其中包含相同的分片 CSV 文件。存储桶 federated-query-standard 的存储类别为 standard。存储桶 federated-query-archive 的存储类为 archive。

使用联合/外部源对存储桶运行相同的查询会产生完全相同的计费/处理字节数，即 57.13GB 数据。性能(查询时间)大致相同。

据官方docs BigQuery 定价:

"When querying an external data source from BigQuery, you are chargedfor the number of bytes read by the query. For more information, seeQuery pricing. You are also charged for storing the data on CloudStorage. For more information, see Cloud Storage Pricing."

因此，用户需要为两件付费:处理的数据和数据在 GCS 中的存储。这是完全有道理的。

我的问题:在查询 GCS(例如检索成本)或不同存储类之间是否存在我没​​有看到(或不知道)的隐藏成本？

Answer 1

目前，从 Archival 或 Coldine 存储中读取(无论是隐藏的还是其他方式)不收取任何费用。这并不意味着这在未来不会改变。

由于 BigQuery 访问 GCS 的方式，GCS 向 BigQuery 收取访问费用，而不是您(即内部会计事务)。

如果您使用存档存储，性能可能会不一致。对于该存储类，冗余副本较少，因此尾部延迟会更高。

但是，对于 coldline，您应该会看到与标准 GCS 存储大致相当的性能。原因是在幕后，coldline 的实现方式与标准存储完全相同。不同之处在于，coldline 对存储收费较低，但对读取收费。

由于 BigQuery 不会向您收取读取费用，如果您在 GCS 中对数据进行大量联合查询但不会以其他方式读取太多数据，那么最好的选择是使用 coldline。

同样，这是一个时间点响应，将来可能会发生变化。