hadoop - 如何对 hive 中的每个组进行采样？

Question

我在配置单元中有一个大表，其中包含超过 15 亿的值。其中一列是 category_id，它有大约 20 个不同的值。我想对表格进行抽样，以便每个类别都有 100 万个值。

我 checkout Random sample table with Hive, but including matching rows和 Hive: Creating smaller table from big table我想出了如何从整个表中获取随机样本，但我仍然无法弄清楚如何为每个 category_id 获取样本。

Answer 1

我知道您想在多个文件中对表格进行抽样。您可能想查看 Hive bucketing或 Dynamic partitions平衡多个文件夹/文件之间的记录。