hadoop - 如何删除HDFS中超过x天的数据

Question

如何删除早于 x 天的数据。在 linux它非常简单，但是在 hdfs发现困难。

此外甚至hdfs dfs -ls /<path>正在提供未排序的有序数据。

Answer 1

这是执行此操作的代码片段:

days_diff=10
now=$(date +%s)
hdfs dfs  -ls /path/todir/ | while read f; do
  dir_date=`echo $f | awk '{print $6}'`
  filename=`echo $f | awk '{print $8}'`
  difference=$(( ( $now - $(date -d "$dir_date" +%s) ) / (24 * 60 * 60 ) ))
  if [ $difference -gt $days_diff ]; then
    echo "Deleting file:" $filename ;
    hdfs dfs  -rm $filename;
  fi
done