hadoop - HiveQL 中受影响的行数

Question

在 hive 中运行 CTAS 后，有没有办法获得受影响的行数？

我正在运行

创建表 t1 作为 select * from t2 where ... ;

基本上，我想打印新表中的行数以用于记录目的。

谢谢!

Answer 1

作为 CTAS 的一部分，Hive 确实报告了受影响的行数:请参见此处的示例:

Table default.errors2 stats: [num_partitions: 0, num_files: 1, num_rows: 860, total_size: 17752, raw_data_size: 16892]

输出的更多细节:

hive> create table errors2 as select * from errors;
..
Stage-5 is filtered out by condition resolver.
Moving data to: hdfs://localhost:9000/tmp/hive-steve/hive_2014-12-13_06-00-40_553_7396982929134959624/-ext-10001
Moving data to: hdfs://localhost:9000/user/hive/warehouse/errors2
Table default.errors2 stats: [num_partitions: 0, num_files: 1, num_rows: 860, total_size: 17752, raw_data_size: 16892]
OK
dayandhour  dowandhour  cnt
Time taken: 7.348 seconds

更新 OP询问有关将行数保存在变量中的问题。没有内置的配置单元命令 AFAIK。但是，您可以通过命令行从命令行运行命令

hive -e "<hivesql>"  | grep "[num_partitions]" | <regex command to isolate the num_rows>