hadoop - sqoop 导入大量 NULL 行

Question

我正在将一个表从 mysql 导入到 hive。该表有 2115584 行。在导入过程中我看到了

13/03/20 18:34:31 INFO mapreduce.ImportJobBase: Retrieved 2115584 records.

但是当我对导入的表执行 count(*) 时，我看到它有 49262250 行。这是怎么回事？

更新:指定 --direct 时导入工作正常。

Answer 1

想通了。来自 sqoop 用户手册:

Hive will have problems using Sqoop-imported data if your database’s rows contain string fields that have Hive’s default row delimiters (\n and \r characters) or column delimiters (\01 characters) present in them. You can use the --hive-drop-import-delims option to drop those characters on import to give Hive-compatible text data.

我刚刚指定了 --hive-drop-import-delims，它现在可以工作了。