mysql - 如何在不使用sqoop的情况下将行从mysql复制到hive

Question

我必须将整个 mysql 表从那里复制到 hive。我无法使用 sqoop。

我找到了一种方法，从 mysql 获取整个数据集，并逐行(循环到数据集中)，复制到 hive 中...

但这是一种非常慢的方法(在我的集群中 50k 行需要几个小时)

是不是像“*insert into mysql select * from hive*”这样的方式？

谢谢马可

Answer 1

为什么不使用sqlplus执行查询并将数据加载到文件中，然后将该文件放入HDFS

  sqlplus -s user/password@dbname <<EOF
set feedback off trimspool on 
spool file_name.txt;
select * from table_name;
spool off;
exit;
EOF

将数据放入文件 file_name.txt 后 可以直接将数据放入hdfs

hadoop fs -put file_name.txt /myhdfsfolder/