excel - Hive 查询结果到 XL

Question

我是 Hadoop 和 Hive 的新手。我目前的要求是收集每个运行日在 15 个表中加载的记录数的统计信息。而不是执行每个 select Count(*)手动查询并将输出复制到 XL。谁能建议自动化这项任务的最佳方法是什么？

注意:我们没有任何 GUI 来运行 Hive 查询，在普通 Unix 终端中提交 Hive 查询。

Answer 1

导出到 CSV 或 TSV 文件，然后在 Excel 中打开文件。通常它会生成 TSV 文件(制表符分隔)。如果您更喜欢 CSV，这就是如何将其转换为逗号分隔的方法；

hive -e "SELECT 'table1' as source,  count(*) cnt FROM db.table1
         UNION ALL
         SELECT 'table2' as source,  count(*) cnt FROM db.table2" | tr "\t" "," > mydata.csv

向查询中添加更多表。
您可以使用 SAMBA/NFS 在 Windows 中挂载您正在写入输出文件的目录。使用 crontab 安排命令，瞧，每天你都有更新文件。

您也可以使用 ODBC 驱动程序直接连接:

https://mapr.com/blog/connecting-apache-hive-to-odbc/

https://docs.microsoft.com/en-us/azure/hdinsight/hadoop/apache-hadoop-connect-excel-hive-odbc-driver

Error connecting Hortonworks Hive ODBC in Excel 2013