google-bigquery - Bigquery 定价变化？

Question

我们已经运行 BigQuery 大约 4 个月了，我们有一些关于定价的有趣观察和问题:

定价模型相当难以解释，它需要对连接、联合等进行解释

如果我在小表上运行连接，对于在 bigquery 引擎中相乘的每个小表副本，我处理的数据会增加吗？

如果我在查询中重用相同的子查询，这是新的数据处理，无论它是相同的子查询？这可以以任何方式优化吗？ bigquery 不缓存它的数据吗？

是否存在为数据处理而四舍五入的最小尺寸？我们的观察认为它是4MB，这是正确的吗？

在 Google Console 中，地理位置存在问题，它说大部分查询都是从 CA 完成的，这是不正确的，因为我的公司在欧洲并且所有开发都在那里完成。我检查了所有IP地址，没有CA ip。是否有可能获得更详细的报告？

关于 5，我们想获取每个查询的历史记录和价格。我们应该怎么做？我们的软件必须这样做吗？

关于 3)我在数据处理方面有这个大问题(这就是我问所有问题的原因)。我的整个数据集大约有 150 mb 大，但我每个查询的 DP 大小却大了 3 倍？如果 bigquery 读取我的整个数据，它不会达到它在处理的数据上显示的大小。什么时候会重新读取数据并因此发生新的DP？你怎么计算这个？

谢谢你。

问候，
托米斯拉夫

Answer 1

联接、联合等的定价非常简单。无论需要读取什么源数据，都只收取一次费用。例如，如果您进行自联接，您仍然只需为一次数据读取付费。

见#1。无论 bigquery 在内部如何工作，您都应该只收取一次费用。

BigQuery 会尽最大努力缓存数据。如果您重新运行查询，则会检查缓存。如果出现缓存命中，您将不会因重新运行查询而付费。请注意，仅缓存完整的查询结果；如果您修改查询或在子查询中使用它，将不会使用缓存。

BigQuery 最多以 1MB 为增量舍入，最小为 10 MB。

我不知道谷歌控制台中的任何地理位置。你在哪里看到这些信息？

您可以通过 jobs.list api 获取查询历史记录和每个人处理的数据量。

您能否发送您运行的查询的作业 ID 大于预期。完成的计算是
8 个字节 *(读取的整数和浮点列的行数)+ 2 个字节 *(读取的字符串列中所有字符串的总长度)。

如果这能回答您的问题，请告诉我。