hadoop - 使用数据验证合并 Hive 中的两个表

Question

我有两个包含一些相似列的表。说，
表 X 有 id,first_name last_name。
表 Y 有 id,email_id, first_name。

然而，这两个表都不完美，所以我需要从另一个表中的数据(使用一些键(例如 id))填充两个表中的空值并将其推送到另一个表。

我怎样才能有效地做到这一点？

Answer 1

只需连接表，然后编写一个case 语句。

示例 0:

select x.id as id
  , case when x.first_name is null then y.first_name else x.first_name end as first_name
  , x.last_name as last_name
  , y.email_id as email_id
from db.tableX x
join db.tableY y
on y.id = x.id

或者您可以使用 if 语句执行几乎相同的操作。

示例 1:

select x.id as id
  , if(x.first_name is null, y.first_name, x.first_name) as first_name
  , x.last_name as last_name
  , y.email_id as email_id
from db.tableX x
join db.tableY y
on y.id = x.id