gpt4 book ai didi

hadoop - 如何停止Hadoop cat:在shell中运行循环时无法自动写入输出流?

转载 作者:行者123 更新时间:2023-12-02 20:33:49 32 4
gpt4 key购买 nike

我想通过shell编写循环,并执行“hadoop fs -cat”命令,但是完成后,它将显示“cat:无法写入输出流”,因此它无法进行循环的下一步。我需要使用ctrl + c手动将其停止。那么如何停止Hadoop cat:在shell中运行循环时无法自动写入输出流?

和 shell 如下:

 for i in {00..23}; do
echo "$i";
mkdir $i
cd $i
hadoop fs -cat hdfs://xxxx/20180816/$i/*.gz | zcat | head -60000 > tmp1
cd -
done

最佳答案

for i in {1..2}  
do
echo "$i"
mkdir $i
cd $i
hadoop fs -get /user/sandeep1/${i}.gz
gunzip -f ${i}.gz
rm ${i}.gz
hadoop fs -rm -r /user/sandeep1/${i}
hadoop fs -mkdir /user/sandeep1/${i}
hadoop fs -put * /user/sandeep1/${i}
hadoop fs -cat /user/sandeep1/${i}/* | head -n 1 > tmp1.txt
cd ..
done

关于hadoop - 如何停止Hadoop cat:在shell中运行循环时无法自动写入输出流?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52076230/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com