sql - Hive 查询记录处理计数

Question

我想知道一个查询处理了多少条记录或处理了多少记录以获取配置单元中的结果。

我试过为查询描述格式化，但无法做到。

描述格式(从示例中选择 *)

Answer 1

使用解释命令:

explain extended select * from sample

但是计划中的行数是从统计中获取的，因为查询还没有真正执行。 已处理行的数量只有在执行后才会知道。

请在此处查看手册:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Explain

命令完成后日志中的计数器如下所示:

Counters=FileSystemCounters.FILE_BYTES_READ:165364556525,
FileSystemCounters.FILE_BYTES_WRITTEN:398475913171,
FileSystemCounters.FILE_READ_OPS:0,
FileSystemCounters.FILE_LARGE_READ_OPS:0,
FileSystemCounters.FILE_WRITE_OPS:0,
FileSystemCounters.HDFS_BYTES_READ:2403609087417,
FileSystemCounters.HDFS_BYTES_WRITTEN:2401487507859,
FileSystemCounters.HDFS_READ_OPS:185667,
FileSystemCounters.HDFS_LARGE_READ_OPS:0 HIVE.RECORDS_IN:204428194,
HIVE.RECORDS_OUT_0:63070586,
HIVE.RECORDS_OUT_1_schema.table_name:39980068,
HIVE.RECORDS_OUT_INTERMEDIATE:126141195,
HIVE.SKEWJOINFOLLOWUPJOBS:0,
Shuffle Errors.BAD_ID:0,Shuffle