presto - Athena 中大小为 N 的随机样本

Question

我正在尝试从 Athena 获取 N 行的随机样本。但由于我想从中提取这个样本的表格很大，所以天真

SELECT
id
FROM mytable
ORDER BY RANDOM()
LIMIT 100

需要很长时间才能运行，可能是因为 ORDER BY 要求将所有数据发送到单个节点，然后该节点对数据进行打乱和排序。

我知道TABLESAMPLE但这允许对一定百分比的行而不是一定数量的行进行采样。有更好的方法吗？

Answer 1

Athena 实际上落后于 Presto。您可以使用 TABLESAMPLE 获取表的随机样本。

假设您想要表的 10% 样本，您的查询将类似于:

从 mytable TABLESAMPLE BERNOULLI(10) 中选择 id

注意有伯努利采样和系统采样。 Here是它的文档。