shell - Shell脚本-从Hive表中获取数据到文本文件

Question

我正在修改Shell脚本，但对脚本却不太熟悉。

我可以从配置单元表中提取数据并放入txt文件中，但是数据从我已经预先输入了列标题的第一行开始。

如何才能将数据加载到第二行以上？

temp_pull()
{
hadoop fs -cat /user/hive/warehouse/test_database.db/$1/* >> $2
}

temp_pull hive_table sample_txt_file.txt

示例.txt文件:

col1    col2    col3

调用temp_pull()之后:

col1    col2    col3    hivedataRow1    hivedataRow1    hivedataRow1
hivedataRow2    hivedataRow2    hivedataRow3   

Answer 1

试试这个。

 temp_pull()
  {
  hadoop fs -cat /user/hive/warehouse/test_database.db/$1/*  | tail -n +2 >> $2
  }

  temp_pull srclist sample_txt_file.txt

其他解决方案。

 temp_pull()
 {
   hive -e 'select * from '$1'' | tail -n +2  > $2
  }

  temp_pull stud_02 sample_txt_file1.txt

根据您的需要进行调整。