mysql - Sqoop 导出不支持 --columns 参数

Question

我有一个 sqoop 作业，我只想将 HIVE 表中的 3 列导出到只有这 3 个字段的 mysql 表中。

export --connect <table> --username <U> --password <p>
--table target --columns "col1,col2,col3" --export-dir /path/to/source/table

请注意，在 hive 表中，col1、col2、col3 之间有一些字段。

抛出的错误是 IllegalArgumentException，因为 Sqoop 正在解析 hive 表中 col1 和 col2 之间的字符串字段，我明确试图忽略它，并试图将其存储为时间戳.

如有任何建议，我们将不胜感激!

Answer 1

您遇到麻烦是因为 --columns 不适用于您要执行的操作。

当使用 sqoop 导出数据时，--columns 允许您指定您将“影响”目标 中的哪些列。它与来源(在您的情况下为 Hive)无关。

运行 sqoop help export，您只会得到该选项的简短描述:

--columns <col,col,col...>                                Columns to
                                                          export to
                                                          table