hadoop - 将空字符串选择/视为 NULL 的 Hive 解决方案

Question

我有一个包含 csv 数据的 Hive 外部表。一些字符串字段的值为“空”。现在，我想选择数据并以 ORC 格式插入到其他表中，并使用“select * from first insert into second”之类的查询。我想用实际的 NULL 值替换字符串“null”。

一种解决方案可以将“null”替换为空白，并将我的表格设计为将空白视为 null。那可能行得通。但是，如果数据中存在任何空白值，这些值也将被视为 NULL。

我想到的另一点是，该表有大量带有此类字符串的列。因此，如果解决方案需要选择一个列并执行一些操作；我将不得不写一个很长的查询。但如果没有其他选择，也可以这样做。

请提出解决方案。

Answer 1

您需要做的就是更改您的外部表，以便它将 null 字符串视为 NULL

alter table my_external_table set tblproperties('serialization.null.format'='null');