hadoop - Hive和Impala之间的时间戳

Question

我有一种情况，我们在源文件中有一个timestamp字段，并以文本格式和 Parquet 格式在托管表中加载到存档中。
我们看到的区别是这两个表之间的值相差5小时。

知道这是你们可以接受的东西，还是Cloudera对它有很大帮助？

请告诉我。

Answer 1

当您在配置单元中使用时间戳时，这是一种预期的行为，您必须全局设置convert_legacy_hive_parquet_utc_timestamps。

Impala会将时间戳增加5个小时，将其视为Impala的本地时间。最简单的解决方案是在插入配置单元时将字段类型更改为字符串或减去5小时。

已经有很多questions了，请查看。