linux - Hive 表字段由 '¬' 分隔 hive 不接受此字符

Question

当我尝试在创建表中使用它时，我拥有的数据由“¬”分隔，但出现无效字符错误。我尝试使用它的 unicode 版本 '\U00AC' 但没有使用所有记录都被提取到第一个字段中。在 unix 中，这个字符“¬”显示为 �。任何人都可以指导我在由部分终止的字段中使用什么。

CREATE TABLE IF NOT EXISTS test
(
CONTACT_RECORD_ID    string,
ACCOUNT    string,
CUST    string,
NUMBER    string,
NUMBER1    string,
NUMBER2    string,
NUMBER3    string,
NUMBER4    string,
NUMBER5    string,
NUMBER6    string,
NUMBER7    string,
LIST    string
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '¬';

Answer 1

你能试试这个 DDL 吗？

CREATE TABLE IF NOT EXISTS test
(
CONTACT_RECORD_ID    string,
ACCOUNT    string,
CUST    string,
NUMBER    string,
NUMBER1    string,
NUMBER2    string,
NUMBER3    string,
NUMBER4    string,
NUMBER5    string,
NUMBER6    string,
NUMBER7    string,
LIST    string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES ('empty.string.null'='true','field.delim'='\0AC','serialization.format'='\0AC','serialization.null.format'='')
STORED AS INPUTFORMAT 
  'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
  'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat';