sql - 如何通过配置单元查询分析内容 fsimage

Question

需要帮助

我已经下载了通过 OIV 工具转换为带分隔符的 csv 文件的 fsimage。我还创建了一个配置单元表并将 csv 文件插入其中。

我对sql不太熟悉，所以查询数据很困难。

例如:文件中的每条记录都是这样的:

/tmp/hive/ltonakanyan/9c01cc22-55ef-4410-9f55-614726869f6d/hive_2017-05-08_08-44-39_680_3710282255695385702-113/-mr-10000/.hive-staging_hive_2017-05-08_08-44-39_680_3710282255695385702- 113/-ext-10001/000044_0.deflate|3|2017-05-0808:45|2017-05-0808:45|134217728|1|176|0|0|-rw-r-----|ltonakanyan |高清文件系统

/data/lz/cpi/ofz/zd/cbt_ca_verint/new_data/2017-09-27/253018001769667.xml | 3| 2017-09-2723:41| 2017-09-2817:09| 134217728| 1| 14549| 0| 0| -rw-r----- | bc55_ah_appid|高清文件系统

表的描述是:

|高清路径 |字符串
|复制 |整数
|修改时间 |字符串
|访问时间 |字符串
|首选 block 大小 |整数
| block 数 |整数
|文件大小 |双整数
|配额 |双整数
|配额 |双整数
|权限x |字符串
|用户x |字符串
|群x |字符串

我需要知道如何仅查询/tmp 、/data 和文件大小，然后转到第二级 (/tmp/hive ) (/data/lz )，后续级别的文件大小

我创建了这样的东西:选择 substr(hdfspath, 2, instr(substr(hdfspath,2), '/')-1) 区域， 总和(文件大小)从例子按 substr(hdfspath, 2, instr(substr(hdfspath,2), '/')-1);

但它没有给出数据..文件大小都是以字节为单位的。

Answer 1

select joinedpath, sumsize
from 
(
select joinedpath,round(sum(filesize)/1024/1024/1024,2) as sumsize
from
(select concat('/',split(hdfspath,'\/')[1]) as joinedpath,accesstime,filesize, userx 
from default.hdfs_meta_d
)t
where joinedpath != 'null'
group by joinedpath
)h

请检查上面的查询，它可以帮助你!