Hive 桶与分区

Question

从问题继续:What is the difference between partitioning and bucketing a table in Hive ?

假设我们按 Salary 列对 employee 表进行了分区。如果我们从这个表中编写一个选择查询，并在 where 子句中使用基于工资列的条件，那么该查询将运行得很快......因为它只会从特定分区中获取详细信息。

但是，如果我们根据工资列对同一个表进行分桶并设置固定的分桶数，而不是分区。那么在这种情况下，如果我们编写相同的查询，我想知道该查询将如何从存储桶中受益？谁能解释一下？

Answer 1

分桶的一个用例是数据的快速采样。

想象一张 table

CREATE TABLE employee(employeeId String, salary Double) 
CLUSTERED BY(user_id) INTO 10 BUCKETS;

我们不是按薪水而是按 employeeId 进行分桶，这样每个员工都会随机放入一个分桶中。我们可以说，从统计上讲，薪水很可能在各个桶中分配得相当均匀。

如果我们想找出平均工资，我们可以在桶的子集上运行这个查询，这比在整个数据集上运行查询更快，但给出了一个很好的近似值。

Select Average(salary) FROM employee TABLESAMPLE(BUCKET 1 OUT OF 10 ON employeeId);