hadoop - 使用sqoop从多个数据库导入数据

Question

我想使用sqoop从多个SQLsever数据库(100+)导入某些表到HDFS。有人可以指导我怎么做吗？自动脚本会做的很好。

Answer 1

这可以通过shell脚本来完成。

1)准备一个包含DBNAME.TABLENAME列表的输入文件
2)shell脚本将以该文件为输入，逐行迭代并为每行执行sqoop语句。

while read line;
do

    DBNAME=`echo $line | cut -d'.' -f1` 
    tableName=`echo $line | cut -d'.' -f2`


    sqoop import -Dmapreduce.job.queuename=$RM_QUEUE_NAME --connect '$JDBC_URL;databaseName=$DBNAME;username=$USERNAME;password=$PASSWORD' --table $tableName  --target-dir $DATA_COLLECTOR/$tableName  --fields-terminated-by '\001'  -m 1 

done<inputFile