hadoop - 读取配置单元元数据选项

Question

我是新来的。我想捕获所有数据库中的表和相关元数据(如列，行数等)的列表。我正在寻找的是某种脚本，我可以将其移交给所有人，任何人都可以运行它，并通过将其写入文件来提供输出。

一种方法是编写一个mapreduce程序，该程序将连接到配置单元并提取此信息。

另一种方法是以某种方式遍历表列表并获取此信息。我知道show tables和describe table命令，但是不确定如何在脚本中使用这些命令以及如何运行此脚本。

我应该采取哪种方法？还有哪些其他选项/方法可以执行此任务？谢谢你的帮助。
[对于RDBMS，我可以通过在系统目录表上编写SQL查询来实现。]

Answer 1

我将使用Spark，mapreduce或HPL/SQL遍历表列表(如您所述)，然后使用各种show语句获取所需的数据。我将首先研究HPL / SQL方法，以便可以将其作为任何Hive查询运行，然后，如果第一种方法无法解决问题，我将通过Spark进行尝试。

-- loop on the values displayed in show tables
show tables;
-- then execute tblproperties and describe to get the metadata you are after
show tblproperties yourTableName;
describe yourTableName;