hadoop - 如何在 Sqoop 导出中使用自动增量 ID

Question

我在 HDFS 中有一个制表符分隔的文本文件，我想将其导出到 MySQL 表中。

由于文本文件中的行没有数字 ID，我如何导出到在 SQL INSERT(自动增量)期间自动设置 ID 的表？

如果我尝试导出(id 是表中最后定义的属性)，我会得到

java.util.NoSuchElementException
  at java.util.AbstractList$Itr.next(AbstractList.java:350)
  at entity.__loadFromFields(entity.java:996)

如果我获取自动生成的类并修改它以排除 id 属性，我得到

java.io.IOException: java.sql.SQLException: No value specified for parameter 27

其中参数 27 是 'id'。

版本是Sqoop 1.3.0-cdh3u3

Answer 1

在 Sqoop 1.4.1 中，在与自动增量字段对应的文本文件字段位置写入“null” 对我有用。导出到 mySQL 后，您将看到一个递增的自动分配的 ID。