hadoop - 如何将 Sqoop 导入命令与 --map-column-hive 一起使用？

Question

我正在尝试将 Teradata 中的数据 Sqoop 到配置单元。我想到了以下步骤:

1) 在 Hue 中创建一个包含所有必填字段的 Hive 表。
2) 通过使用 Sqoop import 命令和 --map-column-hive 属性将数据从 Teradata 加载到 hive。

Sqoop import命令如何指向已经创建的Hive表，以便将Sqooped数据放到对应的Hive表中？

Answer 1

您可以使用 shell 和 awk 从现有表生成 map-column-hive 属性。它将以 COL1=TYPE,COL2=TYPE,...COLN=TYPE

的形式生成

#!/bin/bash

#Set table name here
TABLE_NAME=your_schema.your_table

#generate map from existing table
MAP_COLUMN_HIVE=$(hive -S -e "set hive.cli.print.header=false; describe ${TABLE_NAME};" | awk -F " " 'f&&!NF{exit}{f=1}f{printf c toupper($1) "=" toupper($2)}{c=","}')

#call sqoop with --map-column-hive parameter
#add other sqoop params
sqoop import [your sqoop params here] --map-column-hive "$MAP_COLUMN_HIVE" [more sqoop params]