hive - sqoop 选项 "--map-column-java"允许的数据类型是什么？

Question

我想使用 sqoop import 从 SQL Server 导入数据，但是我面临一些数据类型转换问题，我想使用“--map-column-java”来解决这个问题。

以防万一有人想建议“--map-column-hive”。我不能，因为我正在导入到“--as-parquetfile”；因此我必须在插入文件之前转换列数据类型。

那么，sqoop 选项“--map-column-java”允许的数据类型是什么？

---

附言特别是我想知道与“--map-column-java”一起使用的“datetime”数据类型

Answer 1

从数据类型的角度来看，通过 sqoop 从数据库加载到 parquet 并保持源数据类型是非常有用的。例如，您无法加载时间戳，因为它不受支持。

我建议您使用下一个解决方法:

1. 使用 sqoop 加载所有数据类型的字符串；
2. 使用转换(作为时间戳、小数...等)从表 1(包含所有数据类型字符串)插入表 2；

例子:

--map-column-java "ID=String,NR_CARD=String,TIP_CARD_ID=String,CONT_CURENT_ID=String,AUTORIZ_CONTURI_ID=String,TIP_STARE_ID=String,DATA_STARE=String,COMIS=String,BUGETARI_ID=String,DATA_SOLICITARII=String,DATA_EMITERII=String,DATA_VALABILITATII=String,TIP_DESCOPERIT_ID=String,BRANCH_CODE_EMIT=String,ORG_ID=String,DATA_REGEN=String,FIRMA_ID=String,VOUCHER_BLOC=String,CANAL_CERERE=String,CODE_BUG_OPER=String,CREATED_BY=String,CREATION_DATE=String,LAST_UPDATED_BY=String,LAST_UPDATE_DATE=String,LAST_UPDATE_LOGIN=String,IDPAN=String,MOTIV_STARE_ID=String,DATA_ACTIVARII=String" \

通过这种方式，您将拥有从源正确加载的所有数据类型。