mysql - sqoop 将特定列从 hdfs 导出到 mysql

Question

SQOOP是否支持将特定列从hdfs导出到mysql？

例如现在我有一个像这样的 hdfs 文件:

866138000211400 4   com.spreadst.validationtools    1   1310090804  0   0
866138000211400 4   com.spreadst.validdate  1   1310090804  0   0
866138000211400 4   com.spreadtrum.android.eng  1   1310090804  0   0
866138000211400 4   com.tencent.mm  261 1310090804  0   0
866138000211400 4   com.tencent.mobileqq    13  1310090804  0   0
866138000211400 4   com.thunderst.radio 1   1310090804  0   0
866138000211400 4   com.uucun51111531.android.cms   2013080901  1310090804  0   0
866138000211400 4   com.yeezonetech.firewall    1   1310090804  0   0
866138000211400 4   com.youku.phone 41  1310090804  0   0
866138000211400 4   org.openintents.cmfilemanager   20  1310090804  0   0

每行有 7 列(imei、平台、包名、软件版本、gathertime、isHidden、isUninstalled)，每列以 '\t' 结束。

mysql的表结构是这样的:imei:varchar(100), platform:char(1), packagename:varchar(100), softversion:varchar(20).

如何直接使用 sqoop 将 hdfs 文件导出到 mysql 与 4 个特定列？

Answer 1

是的，使用 --columns 参数指定要导入的列。

来自 Sqoop Cookbook 的示例:

    sqoop export \
  --connect jdbc:mysql://mysql.example.com/sqoop \
  --username sqoop \
  --password sqoop \
  --table cities \
  --columns country,city