hadoop - 在sqoop导入中添加列

Question

通过sqoop从SQL导入数据时，是否可以添加新列并在该列中插入时间戳？

将数据导入HDFS之前是否可以通过其他任何方式进行？

Answer 1

您可以使用sqoop命令的--query参数并添加SQL函数以获取查询中的当前时间戳。

示例:从具有rollnum和name列的MySQL导入stud表。

sqoop import --connect jdbc:mysql://localhost:3306/test --driver com.mysql.jdbc.Driver --username root --query 'select name, rollnum, current_timestamp from stud where $CONDITIONS' --target-dir '/tmp/stud1' --split-by id 

注意在查询中使用了current_timestamp mysql函数。