java - 将庞大数据集添加到 Oracle 数据库中

Question

我有一个由两个数字集组成的巨大数据集〜需要批量处理数百万个。

使用对象的 ArrayList 是将这些对象存储到内存中然后存储到数据库中的最佳方式吗？

List<Object> objects = new ArrayList<Object>()
objects.add(new Object("101", "101"))

然后，我使用 Spring 的 jdbcTemplate 将这些项目一项一项读入数据库。

for(Object object: objects) 
jdbcTemplate.update("INSERT INTO TABLEOFNUMBERS(ITEM1, ITEM2) values(?, ?)", object.get1(), object.get2();

有什么方法可以更快地将其添加到数据库中吗？

Answer 1

如果数据源是文件，那么最好完全绕过 OO 语言/工具并使用 Oracle 的实用程序 SQL Loader。如果必须执行单独的 SQL INSERT 语句，并且 Oracle 版本为 11gR2 或更高版本，请尝试 APPEND_VALUES 提示，如下所示: 插入/*+ APPEND_VALUES */INTO TABLEOFNUMBERS...这会执行直接路径插入，比传统路径更高效，因为它绕过 Oracle SGA 内存中的缓冲区高速缓存，而是直接将 block 写入数据文件。这是关于 APPEND_VALUES 的另一篇文章: http://www.oracle-base.com/articles/11g/append-values-hint-11gr2.php