gpt4 book ai didi

hadoop - 我们可以检查 Hive 表的大小吗?如果是这样,怎么做?

转载 作者:行者123 更新时间:2023-12-02 20:21:55 24 4
gpt4 key购买 nike

我有 许多表 hive 并且怀疑这些表的大小导致集群上的空间问题。有没有办法一次性检查 Hive 表的大小?如果是这样,怎么做?我们可以使用 Tblproperties 或 tbldescription。但它对一张 table 很有用。为每个表运行相同的命令很乏味。我正在寻找一种方法来运行命令并获取所有必需的信息。输出应包括以下字段:
数据库名称:
表名:
总尺寸:
数字文件:
分区数:
行数:
原始数据大小:
PS:以前的方法适用于一个表。
请问有什么帮助吗?

最佳答案

据我所知,没有单一的命令可以实现您正在寻找的结果。

您可以编写自定义脚本

  • 获取数据库列表hive -e "SHOW DATABASES" > db_list_file
  • 遍历数据库列表以获取各个数据库中的所有表hive -e "SHOW TABLES" > table_list_file
  • 运行DESCRIBE EXTENDED ${db}.${tble}在所有表上,解析输出以获取表的路径
  • 如果所有文件都在 HDFS 中,您可以获得大小 hdfs dfs -du -s <list of hdfs files>

  • 希望这可以帮助

    关于hadoop - 我们可以检查 Hive 表的大小吗?如果是这样,怎么做?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/59951374/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com