mysql - 创建 Hive 表 - 如何从 CSV 源中导出列名？

Question

...我真的认为这是一条人迹罕至的道路。

我想通过检查 CSV 文件中公开(通常情况下)列名的第一条记录，在 Hive(或 SQL)中创建 DDL 语句。

我已经看到了这个问题的各种接近答案，但不是很多可以自动化或大规模复制的答案。

我创建了以下代码来处理任务，但我担心它有一些问题:

#!/usr/bin/python

import sys
import csv

# get file name (and hence table name) from command line
# exit with usage if no suitable argument

if len(sys.argv) < 2:
   sys.exit('Usage: ' + sys.argv[0] + ': input CSV filename')
ifile = sys.argv[1]

# emit the standard invocation
print 'CREATE EXTERNAL TABLE ' + ifile + ' ('

with open(ifile + '.csv') as inputfile:
   reader = csv.DictReader(inputfile)
   for row in reader:
      k = row.keys()
      sprung = len(k)
      latch = 0
      for item in k:
         latch += 1
         dtype = '` STRING' if latch == sprung else '` STRING,'
         print '`' + item.strip() + dtype
      break
   print ')\n'

print "ROW FORMAT DELIMITED FIELDS TERMINATED BY ','"
print "LOCATION 'replacethisstringwith HDFS or S3 location'"

首先，它只是将所有内容都数据类型化为字符串。 (我想来自 CSV，这是一种可以原谅的罪过。当然，人们可以篡改结果输出以更准确地设置数据类型。)

第二个是它不会清理 Hive 表列名中不允许的字符的潜在列名。 (我很容易地通过读入一个数据集来打破它，在这个数据集中，列名通常有一个撇号作为数据。这造成了困惑。)

第三个是数据位置被标记化。我想只需要多一点编码时间，它就可以作为参数在命令行上传递。

我的问题是——我们为什么需要这样做？我缺少什么简单的方法来做到这一点？

(顺便说一句:引用 CSV Serde 没有奖励积分 - 我认为这仅在 Hive 14 中可用。我们中的很多人还没有在我们的生产系统上走那么远。)

Answer 1

关于第一个问题(所有列都输入为字符串)，这实际上是当前的行为，即使表是由 CSVSerde 或 RegexSerDe 之类的东西处理的。根据您的用例的细节是否可以容忍额外的运行时延迟，一种可能的方法是根据您的外部表定义一个 View ，该 View 在查询时动态重铸列，并针对 View 而不是外部表直接查询。像这样的东西:

CREATE VIEW VIEW my_view (
  CAST(col1 AS INT) AS col1,
  CAST(col2 AS STRING) AS col2,
  CAST(col3 AS INT) as col3,
  ...
  ...
) AS SELECT * FROM my_external_table;

对于第二个问题(清理列名)，我推断您的 Hive 安装是 0.12 或更早版本(0.13 支持列名中的任何 unicode 字符)。如果您导入 re regex 模块，您可以在您的 Python 中使用类似以下的内容执行该清理:

for item in k:
  ...
  print '`' + re.sub(r'\W', '', item.strip()) + dtype

这应该摆脱任何非字母数字/下划线字符，这是 0.13 之前对 Hive 列名称的期望。顺便说一句，如果您以这种方式清理列名，我认为您不再需要周围的反引号。

关于第三个问题(外部表位置)，我认为将位置指定为命令行参数是一种合理的做法。一种替代方法可能是向您的数据文件添加另一个“metarow”，以某种方式指定位置，但如果您已经坐在大量数据文件上，那将是一件痛苦的事情 - 我个人更喜欢命令行方法。