hadoop - 在配置单元表中加载时跳过 csv 的第一行

Question

你好 friend ，

我在以下命令的帮助下在配置单元中创建了表 -

CREATE TABLE db.test 
  ( 
     fname STRING, 
     lname STRING, 
     age   STRING, 
     mob   BIGINT 
  ) row format delimited fields terminated BY '\t' stored AS textfile; 

现在要从文件中加载表中的数据，我正在使用以下命令 -

load data local inpath '/home/cluster/TestHive.csv' into table db.test;

问题是，所有的行都被插入了，我不想要第一行，因为它只包含列名。

请给我一个跳过第一行的方法。

提前致谢。

Answer 1

为此，您可以使用配置单元的属性 TBLPROPERTIES ("skip.header.line.count"="1")
你也可以引用例子-

CREATE TABLE temp 
  ( 
     name STRING, 
     id   INT 
  ) 
row format delimited fields terminated BY '\t' lines terminated BY '\n' 
tblproperties("skip.header.line.count"="1");