hadoop - 如果文件具有不同的列数，如何将数据加载到同一个 Hive 表

Question

我有一个包含 10 列的主表 (Employee)，我可以使用 load data inpath/file1.txt into table Employee 将数据加载到其中

我的问题是如果我的文件 file2.txt 具有相同的列但第 3 列和第 5 列丢失，如何处理同一个表(员工)。如果我直接加载数据，最后一列将为 NULL NULL。但它应该将第 3 列加载为 NULL，将第 5 列加载为 NULL。

假设我有一个 Employee 表，我想将 file1.txt 和 file2.txt 加载到表中。

file1.txt==========id name sal deptid state coutry  1  aaa  1000 01   TS   india  2  bbb  2000 02   AP   india  3  ccc  3000 03   BGL   india  file2.txt  id  name   deptid country  1  second   001   US  2  third    002   ENG  3  forth    003   AUS  

在 file2.txt 中，我们缺少 2 列，即 sal 和 state。

我们需要使用同一个Employee表怎么处理呢？

Answer 1

我不知道有什么方法可以创建由具有非同质结构的数据文件支持的表。但是，您可以做的是为不同的列配置定义单独的表，然后定义一个查询两者的 View 。

我觉得如果我提供一个例子会更容易。我将使用两张人表，都有一列姓名，但一张也存储高度，而另一张存储体重:

> create table table1(name string, height int);
> insert into table1 values ('Alice', 178), ('Charlie', 185);

> create table table2(name string, weight int);
> insert into table2 values ('Bob', 98), ('Denise', 52);

> create view people as
>     select name, height, NULL as weight from table1
>   union all
>     select name, NULL as height, weight from table2;

> select * from people order by name;
+---------+--------+--------+
| name    | height | weight |
+---------+--------+--------+
| Alice   | 178    | NULL   |
| Bob     | NULL   | 98     |
| Charlie | 185    | NULL   |
| Denise  | NULL   | 52     |
+---------+--------+--------+

或者作为您的问题的一个更接近的例子，假设一个表有名称、高度和体重，而另一个只有名称和体重，因此高度“从中间缺失”:

> create table table1(name string, height int, weight int);
> insert into table1 values ('Alice', 178, 55), ('Charlie', 185, 78);

> create table table2(name string, weight int);
> insert into table2 values ('Bob', 98), ('Denise', 52);

> create view people as
>     select name, height, weight from table1
>   union all
>     select name, NULL as height, weight from table2;

> select * from people order by name;
+---------+--------+--------+
| name    | height | weight |
+---------+--------+--------+
| Alice   | 178    | 55     |
| Bob     | NULL   | 98     |
| Charlie | 185    | 78     |
| Denise  | NULL   | 52     |
+---------+--------+--------+

一定要使用union all 而不仅仅是union，因为后者试图删除重复的行，这使得它非常昂贵。