sql-server - 批量插入(BCP)到 SQL Server VS Sqoop 导出到 SQL Server

Question

为了将数据从 hive/hdfs 导出到 sql server，就速度和性能而言，以下选项中哪个选项更好。

1) 使用 Sqoop Export 工具连接到 RDBMS (SQL server) 并直接导出数据。

2) 使用 INSERT OVERWRITE LOCAL DIRECTORY 命令使用 HIVE 转储 CSV 文件，然后对这些 CSV 文件执行 BCP(或批量插入查询)以将数据放入 SQL服务器数据库。

或者，还有其他更好的选择吗？

Answer 1

根据我的经验，我会尽可能使用 bcp。据我所知，这是将霰弹枪数据导入数据库的最快方法，并且可以在(某种程度上)细粒度级别上进行配置。

需要考虑的几件事:

1. 使用临时表。没有主键，没有索引，只有原始数据。
2. 有一个“合并”过程来在加载后移动数据。
3. 开始时使用大约 5000 的行大小，但如果性能最受关注，则进行测试。
4. 确保增加超时时间。