mysql - 将数据从 HDFS 导出到 MySQL，但在进入 MySQL 之前应更新数据

Question

我需要将数据从 MySQL 导入到 HDFS，我正在使用 Apache Sqoop 来做这件事。但问题是我还需要将数据从 HDFS 导出到 MySQL，并且我需要在将这些数据移动到 MySQL 之前更新这些数据的一列(即在 HDFS 中)，我该怎么做？

Answer 1

您可以直接从 hdfs 更新列，并可以使用 INSER OVERWRITE DIRECTORY“路径”将配置单元输出存储到 HDFS，然后使用以下 sqoop 命令

 sqoop export \
--connect jdbc:mysql://master/poc \
--username root \
--table employee \
--export-dir /user/hdfs/mysql/export.txt \
--update-key id \
--update-mode allowinsert \
--fields-terminated-by '\t' \
-m 1

希望这有帮助..