oracle - 如果我们在sqoop中使用6个mapper从oracle中导入数据，那么sqoop和source之间会建立多少个connection

Question

如果我们在sqoop中使用6个mapper从Oracle导入数据，那么sqoop和source之间会建立多少个connection。

是单个连接还是每个映射器有 6 个连接。

Answer 1

根据 sqoop docs :

Likewise, do not increase the degree of parallism higher than that which your database can reasonably support. Connecting 100 concurrent clients to your database may increase the load on the database server to a point where performance suffers as a result.

这意味着所有映射器都将建立并发连接。

另请记住，如果您的表只有 2 条记录，则 sqoop 将仅使用 2 个映射器，而不是全部 6 个映射器。

检查我的其他 answer理解 Sqoop 命令中映射器数量的概念。

编辑:

所有映射器都将作为 JDBC 客户端程序建立非事件连接。然后事件连接(实际触发 SQL 查询)将在多个映射器之间共享。

在 -verbose 模式下启动 SQOOP IMPORT 命令，您将看到日志 -

DEBUG manager.OracleManager$ConnCache: Got cached connection for jdbc:oracle:thin:@192.xx.xx.xx:1521:orcl/dev

DEBUG manager.OracleManager$ConnCache: Caching released connection for jdbc:oracle:thin:@192.xx.xx.xx:1521:orcl/dev

检查 getConnection和 recycle方法了解更多详情。