sql - 如何在 BigQuery 中显示数据样本？

Question

假设我在 BigQuery 中有一个 1TB 的数据集，我希望能够在柱状 View 中查看数据，限制为 1000 个结果。以下是我可能会使用的一些查询:

1. SELECT * FROM mytable LIMIT 1000
2. SELECT first_name, last_name FROM mytable LIMIT 1000
3. SELECT last_name, first_name FROM mytable LIMIT 1000
4. SELECT * FROM mytable ORDER BY first_name LIMIT 1000

如果我运行这四个查询，我将被收取约 20 美元($5/tb，假装 * = first_name, last_name)的费用。这似乎是一个非常高的费用，只是对数据进行采样——是否有另一种方法来查询此数据以查看数据的有限 View ，如上所示？

Answer 1

This seems like a very high amount to pay to just sample the data -- is there another way to

如果您的数据是动态的，意思是每天更新或以任何其他方式更新 - 您可以使用 Table Decorators

例如

SELECT * FROM mytable@-3600000--1800000 LIMIT 1000  

只查询最近一小时内插入的数据，大大降低了成本!!

另一种选择是使用 Day partitioned tables所以你只能查询特定日期的数据

Is there a way to export a subset of the data instead of doing a query?

是的。您可以使用 Tabledata.list用于在原始表中逐页列出数据并使用您需要的任何采样逻辑插入到新的 [sampled] 表中的 API。注意:这个 API 是免费的，因为它本身实际上不使用 BigQuery 查询引擎，而是从底层存储中读取!!!所以你可以相当疯狂 :o)

当然你需要在client中实现这个你的选择。