date - Hive 数据类型混淆

Question

我有大量数据，其中一个字段类似于 Wed Sep 15 19:17:44 +0100 2010，我需要将该字段插入到 Hive 中。

我为选择数据类型而烦恼。我尝试了时间戳和日期，但从 CSV 文件加载时得到空值。

Answer 1

数据类型是字符串，因为它是文本。如果你想转换它，我建议使用 TIMESTAMP。但是，您需要在加载数据时或之后(甚至更好)自己进行此转换。

要转换为时间戳，可以使用以下语法:

CAST(FROM_UNIXTIME(UNIX_TIMESTAMP(<date_column>,'FORMAT')) as TIMESTAMP)

虽然您的格式看起来很复杂。我的建议是将它作为字符串加载，然后只对第一条记录执行简单查询，直到它正常工作。

    SELECT your_column as string_representation,
CAST(FROM_UNIXTIME(UNIX_TIMESTAMP(<date_column>,'FORMAT')) as TIMESTAMP) as timestamp_representation
    FROM your_table
    LIMIT 1

您可以在此处找到有关格式的更多信息:http://docs.oracle.com/javase/6/docs/api/java/text/SimpleDateFormat.html

我的建议是先连接一些子字符串，然后在查看时间和时区等之前尝试仅转换日、月、年部分。