hadoop - Sqoop 从 Hive 导出到 Teradata 时间戳格式必须是 yyyy-mm-dd hh :mm:ss[. ffffffff]

Question

我正在尝试将数据从 Hadoop Hive 导出到 Teradata。我的数据包含可以为 NULL 的时间戳。

当我进行导出时，对于具有 NULL 时间戳的行，我收到以下错误:
“时间戳格式必须是 yyyy-mm-dd hh:mm:Ss[.fffffffff]”

在我的 sqoop 导出中，我确实添加了两个选项 --input-null-string '\N' 和 --input-null-non-string '\N'。

你知道解决这个问题的方法吗？

谢谢。

Answer 1

Teradata 中数据类型为 timestamp 的列需要具有以下格式的值 yyyy-mm-dd hh:mm:Ss 而您的 hive 表中的数据没有这种格式。

使用这些 hive udfs 更改 hive 表中相应空值时间戳的值:

• unix_timestamp(字符串日期，字符串模式)

• 或者简单地检查 null 并使用

  替换为空字符串

  案例 当日期='' 然后 '' 其他日期结束，

希望对你有帮助