java - Teradata-jdbc : What's the point of using FaSTLoad if java has memory limitations?

Question

这是来自 teradata 网站的示例 jdbc FaSTLoad 程序的链接:http://developer.teradata.com/doc/connectivity/jdbc/reference/current/samp/T20205JD.java.txt

它只插入一行，所以我通过替换以下代码修改它以插入 500K 行:

                        pstmt.setInt(1, 1);
                        pstmt.setString(2, strBuf);
                        pstmt.addBatch();
                        batchCount++;

与:

                        for (int i = 0; i < 500000 ; i ++ ) {
                        pstmt.setInt(1, i);
                        pstmt.setString(2, strBuf);
                        pstmt.addBatch();
                        batchCount++;
                        }

当然失败了，因为java内存不足。

所以 FaSTLoads jdbc 无法上传 500K 行非常简单的数据。 .因为 addBatch() 方法在某些时候会抛出 outOfMemory 异常。

但我读到 FaSTLoad 能够上传数百万行! ! !但是我在任何地方都找不到任何真实的例子。如何克服 outOfMemory java 异常？

任何人都可以展示一个使用 jdbc 和 FaSTLoad(不是 FaSTLoadCSV!)上传假设 1M 行的示例吗？

---

附言:

1) xmx 堆空间的增加达不到目的，因为每增加一个addBatch() 方法都会执行得更慢，并且额外的堆有限制(通常是 4 g )

2) 我不需要 FaSTLoadCSV ，因为它在 ttu 14 之前不支持文本限定符并且还有其他问题

Answer 1

您必须 setAutoCommit(false) 然后简单地 executeBatch 多次，例如在每 50,00 或 100,000 个 addBatch 之后，在您用完内存之前。最后，您提交。

参见 Speed up your JDBC/ODBC applications在 developer.teradata.com 上