hadoop - Hive:在 unicode csv 文件上创建表

Question

在 HDInsight 集群上，尝试在 unicode csv 文件上创建 Hive 表。

Invoke-Hive -Query @"
CREATE EXTERNAL TABLE TestUnicode(Numeric1 INT,Numeric2 INT,Numeric3 INT,Name String)ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE LOCATION
'wasb://$containerName@$storageAccountName.blob.core.windows.net/TestUnicode.csv';
"@

但 Hive 无法正确识别 unicode 字符串。此外，所有整数字段都加载为 NULL。

Answer 1

将 TestUnicode.csv 的编码更改为 UTF-8。适合我。