hadoop - 如何从fsimage查找文件名和文件大小？

Question

我正在尝试查找小于HDFS块大小的文件。

通过使用OIV，我将fsimage转换为带有如下分隔符的文本文件。
hdfs oiv_legacy -i /tmp/fsimage -o /tmp/fsimage_$RUNDATE/fsimage.txt -p Delimited -delimiter '@'
由于fsimage具有大量数据。从中如何找到HDFS中每个文件的文件名和文件大小。

谁能帮忙。

提前致谢....

Answer 1

看一下documentation末尾的脚本。

从...开始:

A = LOAD '$inputFile' USING PigStorage('\t') AS (path:chararray,
                                                replication:int,
                                                modTime:chararray,
                                                accessTime:chararray,
                                                blockSize:long,
                                                numBlocks:int,
                                                fileSize:long,
                                                NamespaceQuota:int,
                                                DiskspaceQuota:int,
                                                perms:chararray,
                                                username:chararray,
                                                groupname:chararray);

-- Grab the pathname and filesize
B = FOREACH A generate path, fileSize;

-- Save results
STORE B INTO '$outputFile';