Hadoop hive : Generate Table Name and Attribute Name using Bash script

Question

在我们的环境中，我们无法访问 Hive 元存储来直接查询。

我需要为一组表动态生成表名、列名对。

我试图通过对所有表的文件运行“describe extended $tablename”并从文件中选取表名和列名对来实现这一点。

除了这种方式，还有其他更简单的方法吗？

想要的输出是这样的

table1|col1
table1|col2
table1|col3
table2|col1
table2|col2
table3|col1

Answer 1

此脚本将为单个表以所需格式打印列。 AWK 从 describe 命令解析字符串，只接受 column_name，用“|”连接和 table_name 变量，每个字符串以\n 作为它们之间的分隔符打印。

#!/bin/bash

#Set table name here
TABLE_NAME=your_schema.your_table

    TABLE_COLUMNS=$(hive -S -e "set hive.cli.print.header=false; describe ${TABLE_NAME};" | awk -v table_name="${TABLE_NAME}" -F " " 'f&&!NF{exit}{f=1}f{printf c table_name "|" toupper($1)}{c="\n"}')

例如，您可以使用 show tables 命令轻松修改它以生成所有表的输出。

更简单的方法是直接访问元数据数据库。