scala - Impala 正在将时间转换为 GMT 如何避免这种情况

Question

当我查询它通过 impala 时间以 GMT 格式显示。不仅我创建的每个时间戳字段的列都转换为 GMT 格式。

如何让它按原样显示时间？或者如何将其转换为 est ？

请帮助进行 sql 查询或 spark/scala 代码，我试过这个 How to convert a Date String from UTC to Specific TimeZone in HIVE?它对我有帮助。

Answer 1

将时间转换为 UTC+00:00 的不是 Impala，而是 Hive，但只有在将时间戳保存到 Parquet 中时才会这样做。这是 Hive 中的错误:HIVE-12767 .当从 Parquet 文件中读取时间戳时，Hive 会进行反向调整以获得正确的值，但 Impala 不会。

根据TIMESTAMP Data Type Impala 文档中的页面，-convert_legacy_hive_parquet_utc_timestamps=true 使 Impala 执行与 Hive 相同的反向调整，但使用它会产生性能开销。

如果您使用 Impala 写入时间戳并使用 Hive 读回它们，Hive 会注意到数据是由 Impala 写入的，因此不需要调整，因此 Impala 写入的时间戳会在 Hive 中正确显示。