java - 使用带有 JDBC 和 SQLServer 的数据库 API 游标来选择批处理结果

Question

已解决(请参阅下面的答案。)

我没有在正确的上下文中理解我的问题。真正的问题是我的查询返回多个 ResultSet 对象，而我以前从未遇到过这种情况。我在下面发布了解决问题的代码。

<小时/>

问题

我有一个包含数千行的 SQL Server 数据库表。我的目标是从源数据库拉回数据并将其写入第二个数据库。由于应用程序内存限制，我无法一次将数据全部拉回​​来。另外，由于这个特定表的架构(我无法控制)，我没有办法使用某种 ID 列勾选行。

数据库管理员 StackExchange 的一位绅士帮助我解决了这个问题，他将一个称为数据库 API 游标的东西组合在一起，基本上编写了这个复杂的查询，我只需要将语句放入其中即可。当我在 SQL Management Studio (SSMS) 中运行查询时，效果很好。我取回所有数据，一次一千行。

不幸的是，当我尝试将其转换为 JDBC 代码时，我只返回前一千行。

问题

是否可以使用 JDBC 检索数据库 API 游标，从中拉出第一组行，允许游标前进，然后一次拉出后续组？ (在本例中，一次一千行。)

SQL 代码

这很复杂，所以我要把它分解。

实际的查询可以很简单也可以很复杂。没关系。我在实验过程中尝试了几种不同的查询，它们都有效。您只需将其放入 SQL 代码中的适当位置即可。因此，让我们将这个简单的语句作为我们的查询:

SELECT MyColumn FROM MyTable; 

实际的 SQL 数据库 API 游标要复杂得多。我将在下面打印出来。您可以看到上面的查询隐藏在其中:

-- http://dba.stackexchange.com/a/82806
DECLARE @cur INTEGER
    ,
    -- FAST_FORWARD | AUTO_FETCH | AUTO_CLOSE
    @scrollopt INTEGER = 16 | 8192 | 16384
    ,
    -- READ_ONLY, CHECK_ACCEPTED_OPTS, READ_ONLY_ACCEPTABLE
    @ccopt INTEGER = 1 | 32768 | 65536
    ,@rowcount INTEGER = 1000
    ,@rc INTEGER;

-- Open the cursor and return the first 1,000 rows
EXECUTE @rc = sys.sp_cursoropen @cur OUTPUT
    ,'SELECT MyColumn FROM MyTable'
    ,@scrollopt OUTPUT
    ,@ccopt OUTPUT
    ,@rowcount OUTPUT;

IF @rc <> 16 -- FastForward cursor automatically closed
BEGIN
    -- Name the cursor so we can use CURSOR_STATUS
    EXECUTE sys.sp_cursoroption @cur
        ,2
        ,'MyCursorName';

    -- Until the cursor auto-closes
    WHILE CURSOR_STATUS('global', 'MyCursorName') = 1
    BEGIN
        EXECUTE sys.sp_cursorfetch @cur
            ,2
            ,0
            ,1000;
    END;
END;

正如我所说，上面在数据库中创建了一个游标，并要求数据库执行该语句，(在内部)跟踪它返回的数据，并一次返回一千行数据。效果很好。

JDBC 代码

这就是我遇到问题的地方。我的 Java 代码没有编译问题或运行时问题。我遇到的问题是它只返回前一千行。我不明白如何正确使用数据库游标。我尝试过 Java 基础知识的变体:

// Hoping to get all of the data, but I only get the first thousand.
ResultSet rs = stmt.executeQuery(fq.getQuery());
while (rs.next()) {
    System.out.println(rs.getString("MyColumn"));
}

我对结果并不感到惊讶，但我尝试过的所有变体都会产生相同的结果。

根据我的研究，当数据库是 Oracle 时，JDBC 似乎会对数据库游标执行某些操作，但您必须将结果集中返回的数据类型设置为 Oracle 游标对象。我猜 SQL Server 也有类似的东西，但我还没有找到任何东西。

有人知道有什么办法吗？

我包含了完整的示例 Java 代码(虽然很难看)。

// FancyQuery.java

import java.sql.*;

public class FancyQuery {

    // Adapted from http://dba.stackexchange.com/a/82806
    String query = "DECLARE @cur INTEGER\n"
                 + "    ,\n"
                 + "    -- FAST_FORWARD | AUTO_FETCH | AUTO_CLOSE\n"
                 + "    @scrollopt INTEGER = 16 | 8192 | 16384\n"
                 + "    ,\n"
                 + "    -- READ_ONLY, CHECK_ACCEPTED_OPTS, READ_ONLY_ACCEPTABLE\n"
                 + "    @ccopt INTEGER = 1 | 32768 | 65536\n"
                 + "    ,@rowcount INTEGER = 1000\n"
                 + "    ,@rc INTEGER;\n"
                 + "\n"
                 + "-- Open the cursor and return the first 1,000 rows\n"
                 + "EXECUTE @rc = sys.sp_cursoropen @cur OUTPUT\n"
                 + "    ,'SELECT MyColumn FROM MyTable;'\n"
                 + "    ,@scrollopt OUTPUT\n"
                 + "    ,@ccopt OUTPUT\n"
                 + "    ,@rowcount OUTPUT;\n"
                 + "    \n"
                 + "IF @rc <> 16 -- FastForward cursor automatically closed\n"
                 + "BEGIN\n"
                 + "    -- Name the cursor so we can use CURSOR_STATUS\n"
                 + "    EXECUTE sys.sp_cursoroption @cur\n"
                 + "        ,2\n"
                 + "        ,'MyCursorName';\n"
                 + "\n"
                 + "    -- Until the cursor auto-closes\n"
                 + "    WHILE CURSOR_STATUS('global', 'MyCursorName') = 1\n"
                 + "    BEGIN\n"
                 + "        EXECUTE sys.sp_cursorfetch @cur\n"
                 + "            ,2\n"
                 + "            ,0\n"
                 + "            ,1000;\n"
                 + "    END;\n"
                 + "END;\n";

    public String getQuery() {
        return this.query;
    }

    public static void main(String[ ] args) throws Exception {

        String dbUrl = "jdbc:sqlserver://tc-sqlserver:1433;database=MyBigDatabase";
        String user = "mario";
        String password = "p@ssw0rd";
        String driver = "com.microsoft.sqlserver.jdbc.SQLServerDriver";

        FancyQuery fq = new FancyQuery();

        Class.forName(driver);

        Connection conn = DriverManager.getConnection(dbUrl, user, password);
        Statement stmt = conn.createStatement();

        // We expect to get 1,000 rows at a time.
        ResultSet rs = stmt.executeQuery(fq.getQuery());
        while (rs.next()) {
            System.out.println(rs.getString("MyColumn"));
        }

        // Alas, we've only gotten 1,000 rows, total.

        rs.close();
        stmt.close();
        conn.close();
    }
}

Answer 1

我明白了。

stmt.execute(fq.getQuery());

ResultSet rs = null;

for (;;) {
    rs = stmt.getResultSet();
    while (rs.next()) {
        System.out.println(rs.getString("MyColumn"));
    }
    if ((stmt.getMoreResults() == false) && (stmt.getUpdateCount() == -1)) {
        break;
    }
}

if (rs != null) {
    rs.close();
}

经过一些额外的谷歌搜索后，我发现了一些 2004 年发布的代码:

http://www.coderanch.com/t/300865/JDBC/databases/SQL-Server-JDBC-Registering-cursor

发布我认为有帮助的代码片段的绅士(Julian Kennedy)建议:“阅读 getUpdateCount() 和 getMoreResults() 的 Javadoc 以获得清晰的理解。”我能够将其拼凑起来。

基本上，我认为我一开始就没有充分理解我的问题，无法正确表达它。归根结底，我的查询将返回多个 ResultSet 实例中的数据。我需要的是一种不仅可以迭代 ResultSet 中的每一行，而且可以迭代整个 ResultSet 集的方法。这就是上面代码的作用。