csv - 如何将 CSV 文件导出到带有逗号记录值的 Hive 表中？

Question

输入文件

   11/24/2013,bank of nyc,withdrawl,deposit,in progress
   11/16/2014,bank of dc,opeanig,closing,resolved    

我想要他们在 table 上

  Date           Bank name         issue                status 
  11/24/2013     bank of nyc     withdrawl,deposit     in progress
  11/16/2014     bank of dc      opeanig,closing       resolved

Answer 1

好吧，问题是逗号没有转义...配置单元应该如何知道逗号是字符串的一部分还是分隔符？

如果您只能在一个已知列中使用额外的逗号，那么这是可能的，例如在本例中，第三个。然后，您可以编写一个正则表达式，接受第二个逗号和最后一个逗号之间的任何内容，并将其与 Regexp serde 一起使用。这适用于您的示例，因为只有“问题”可能有逗号。

CREATE TABLE csvsample(
  date STRING,
  bank_name STRING,
  issue STRING,
  status STRING
) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' 
  WITH SERDEPROPERTIES (
   "input.regex" = "^([^,]+),([^,]+),(.+),([^,]+)$") ;
hive> select * from csvsample;
OK
11/24/2013  bank of nyc withdrawl,deposit   in progress
11/16/2014  bank of dc  opeanig,closing resolved