hadoop - 从AWS s3提取文件样本并将其放置在s3中的另一个位置

Question

始终可以使用s3distcp将文件(或文件集)复制到s3的另一个位置，但是可以使用Hadoop / EMR的mapred或任何其他功能来随机抽取s3distcp文件(或每第n行)文件到s3中的新位置。这样做的好处是节省了将数据复制到本地计算机并将其再次上传到s3的时间。

这是我要通过此过程优化的耗时代码。

aws s3 cp s3://... localLocation
cat localLocation | awk '{if(NR%10==0) print $0' > samp.txt
aws s3 cp samp.txt s3://..anotherLocation

Answer 1

从Amazon S3检索文件时，必须下载整个文件。不支持随机访问。