hadoop - 如何在配置单元表中选择用于分区和分桶的列？

Question

以下模式的分区和分桶的理想列是什么？是否有必要同时实现两者，还是一个就可以实现？

user_id INTEGER UNSIGNED,
product_id VARCHAR(20),
gender ENUM('M','F') default NULL,
age VARCHAR(6),
occupation TINYINT UNSIGNED default NULL,
city_category ENUM('A','B','C','D','E') default NULL,
stay_in_current_city_years VARCHAR(6),
martial_status TINYINT UNSIGNED default 0,
product_category_1 TINYINT UNSIGNED default 0,
product_category_2 TINYINT  UNSIGNED default 0,
product_category_3 TINYINT UNSIGNED default 0,
purchase_amount INTEGER UNSIGNED default 0 

主要目的是利用Hive根据上述属性做一些分析。

Answer 1

在 hive 中，您根据使用模式创建一个表，因此您应该根据您的分析查询的外观来选择分区和分桶。

但是，以下几点是可取的

分区

• 分区可帮助您加快使用谓词(即 Where 条件)的查询。所以在你的情况下，如果 city_category 是你将在你的 where 条件中大部分时间使用的字段，你应该选择该字段进行分区。
• 它可能会降低其他查询的性能。
• 需要确保基数不要太高，否则查询性能会下降。

要理解以上几点，您需要了解分区的工作原理。当您创建一个分区(或子分区)时，Hive 会创建一个具有该名称的子文件夹并将数据(文件)存储到这些文件夹中。

因此，如果您根据 city_category 进行分区，您的文件将如下所示。

/data/table_name/city_category=A
/data/table_name/city_category=B
...
/data/table_name/city_category=E

如果您在 Where 条件 中提供 city_category，这有助于 hive 查找特定记录，因为它只需扫描一个文件夹。

但是，如果您尝试根据 user_id 或 product_id 查找记录，则 hive 需要扫描所有文件夹。

假设您最终根据 purchase_amount 进行分区，那么您将拥有很多文件夹。 NameNode 必须维护每个文件夹和文件的位置，因此它会在您的 NameNode 上产生大量负载并明显降低查询性能。

分桶

• 如果您要连接的另一个表具有类似的分桶，它可以帮助您加快连接查询。
• 不过，最好确保数据在分桶中均匀分布。

什么是分桶，它在给定字段上应用散列，并基于此将给定记录存储在分桶中。

假设您基于 city_category 进行存储桶并创建 50 个存储桶。

CLUSTERED BY (city_category) INTO 50 BUCKETS

因为我们只有 5 个类别，其他 45 个桶将是空的，这是您不希望的，因为它会降低查询的性能。