hadoop - 如何解决Hive文本文件格式和 Parquet 文件格式之间的日期差异

Question

我们在 hive 中创建了一个外部 Parquet 表，使用插入覆盖将现有文本文件数据插入到外部 Parquet 表中。
但是我们确实观察到现有文本文件中的日期与 Parquet 文件不匹配。

数据到文件

txt文件日期:2003-09-06 00:00:00
Parquet 文件日期:2003-09-06 04:00:00

问题:
1)我们如何解决这个问题。
2)为什么我们在数据上出现这些差异。

Answer 1

甚至当我们从sql server压缩表时，也遇到了类似的问题，这是由于驱动程序或jar问题。

当您执行插入覆盖时，请尝试对日期字段使用强制转换。

如果您遇到任何问题，这应该可以让我知道。