csv - 指向带有嵌入双引号的 CSV 文件的 Hive 外部表

Question

我正在尝试创建一个指向 CSV 文件的外部 Hive 表。我的 CSV 文件有一个列 (col2)，可以将双引号和逗号作为列值的一部分。

每列数据:

Col1 : 150
Col2 : BATWING, ABC "D " TEST DATA
Col3 : 300

CSV 中的行:

150,"BATWING, ABC ""D "" TEST DATA",300

创建表 DDL:

CREATE EXTERNAL TABLE test (
   col1 INT, 
   col2 STRING, 
   col3 INT) 
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
ESCAPED BY '"' 
LOCATION 's3://test-folder/test-file.csv'

当我查询表时，我在 col3 中看到空值。

创建表格时我在这里遗漏了什么？感谢任何帮助

Answer 1

使用 OpenCSVSerde。这是一个例子

创建表

CREATE TABLE bala (col1 int, col2 string, col3 int)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES(
  "separatorChar" = ",", "escapeChar"='\"'
);

加载数据

hive>LOAD DATA INPATH '/../test.csv' INTO TABLE bala
Loading data to table bala
Table testing.bala stats: [numFiles=1, totalSize=40]
OK
Time taken: 0.514 seconds

检查是否加载完毕

hive> select * from bala;
OK
150 BATWING, ABC "D " TEST DATA 300
Time taken: 0.288 seconds, Fetched: 1 row(s)