java - 使用Java传输海量数据

Question

我需要使用Java程序将大量数据(近1000万条记录)从一个数据库(oracle)传输到另一个数据库(postgres)。我通过创建与两个数据库的连接并从源数据库查询数据，然后通过迭代结果集将数据插入目标数据库来完成相同的操作。但传输数据需要花费大量时间。有什么办法可以快速完成转移过程吗？

Answer 1

一种替代方法是将表中的所有数据导出到文本文件中，然后将该数据直接导入到 postgres 中。我不记得 Oracle 有什么导出功能，但最坏的情况你总是可以使用这样的查询，将表的内容转储为一组插入语句:

选择“插入 mynewtable 值(' || old.a || ', ' || old.b || ...etc..|| ');'来自 myoldtable 旧；

我确实在几个小时内处理了 Oracle 数据库(使用 Java)中的 10MM 记录(每条记录之间进行了大量处理)。你希望得到什么样的表现？你现在得到了什么？

在插入 postgres 表时是否需要检查大量索引或约束？也许您的代码还有其他问题？如果您知道所有行都是有效的，也许您应该在插入时删除 postgres 数据库中的约束？

或者，如果您有一段时间没有这样做，也许您需要清理数据库？