hadoop - Hive count(*) 查询未调用 mapreduce

Question

我在配置单元中有外部表，我正在尝试运行 select count(*) from table_name 查询，但查询立即返回并给出我认为已经存储的结果。查询返回的结果不正确。有没有办法强制执行 map reduce 作业并使查询每次都执行。

注意:并非所有外部表都遵循此行为，但其中一些外部表遵循此行为。

使用的版本:Hive 0.14.0.2.2.6.0-2800，Hadoop 2.6.0.2.2.6.0-2800 (Hortonworks)

Answer 1

经过一些发现，我找到了一种方法，可以启动 MR 来计算 orc 表上的记录数。

ANALYZE TABLE '表名' PARTITION('分区列') COMPUTE STATISTICS; - 要么ANALYZE TABLE 'table name' COMPUTE STATISTICS;

这不是 count(*) 的直接替代方法，而是提供表中记录的最新计数。