hadoop - Hive Utf-8 编码支持的字符数？

Question

您好，实际上问题如下，我想插入到配置单元表中的数据有拉丁词和 utf-8 编码格式。但是 hive 仍然没有正确显示它。

实际数据:-

数据插入到hive中

我将表的编码更改为 utf-8，下面仍然是相同的问题是配置单元 DDL 和命令

CREATE TABLE IF NOT EXISTS test6
(
CONTACT_RECORD_ID    string,
ACCOUNT    string,
CUST    string,
NUMBER    string,
NUMBER1    string,
NUMBER2    string,
NUMBER3    string,
NUMBER4    string,
NUMBER5    string,
NUMBER6    string,
NUMBER7    string,
LIST    string
)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY '|';
ALTER TABLE test6 SET serdeproperties ('serialization.encoding'='UTF-8');

hive是否只支持UTF-8的前128个字符？请提出建议。

Answer 1

这可能不是理想的解决方案，但它确实有效。 Hive 似乎不以某种方式将它们视为 UTF8。请尝试使用以下参数创建表:

CREATE TABLE testjoins.yt_sample_mapping_1(
   `col1` string,
   `col2` string,
   `col3` string)
   ROW FORMAT SERDE "org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe"
   WITH SERDEPROPERTIES ( "separatorChar" = ",", 
    "quoteChar" = "\"", 
    "escapeChar" = "\\", 
    "serialization.encoding"='ISO-8859-1') 
    TBLPROPERTIES ( 'store.charset'='ISO-8859-1', 
    'retrieve.charset'='ISO-8859-1');