hadoop - Hive分区表查询优化

Question

我是hive的新手，并且通常是hadoop生态系统。据我所了解的Hive基础知识，您可以基于某些属性在hive表上创建分区。而且，如果查询中提及该属性，则应该可以获得性能因为 hive 只扫描特定的分区文件而不扫描整个表，所以我的问题是假设我们在数据中有一些层次结构。例如，我基于唯一的状态值对表进行分区，并且每次查询基于状态 hive 都会仅扫描该特定状态分区而不是扫描整个表。但是，每个州也具有唯一的区名称。如果仅基于区值进行查询， hive 会扫描整个表吗？

如果是这样，那么有某种方法可以更改查询，使我可以手动指示配置单元查询该分区所属的特定状态文件。然后仅对该分区文件执行其他操作，而不是整个扫描匹配地区值的表格。

Answer 1

Hive的优势之一是它对分区具有强大的支持。但是，当您编写查询时，它无法读懂您的想法。

如果您在state上有一个分区，则需要在state子句中使用where进行分区修剪。因此，如果仅查询district，则会扫描整个表。

如果您在district上有一个分区，则需要分区。对state的查询将扫描整个表。

如果两者都有分区。 。 。好的，声明起来有点复杂，但是您的查询将读取带有state或district的少数分区。

如果您只是在学习分区，我建议您从日期分区开始。这些是熟悉该概念的最常见也是一个好方法。