pentaho - BigQuery JDBC 驱动程序返回的行数不会超过 100,000 行

Question

我正在 Pentaho PDI 中使用 Google BigQuery 的 starschema JDBC 驱动程序:

http://code.google.com/p/starschema-bigquery-jdbc/

我通过 BigQuery Web 控制台的查询返回 129,993 行，但当我通过 JDBC 驱动程序执行相同的查询时，它仅返回 100,000 行。是否有某种我不知道的选项或限制？

Answer 1

StarSchema 代码看起来只返回结果的第一页。

这里的代码here应更新以获得其余结果。它应该看起来像:

public static GetQueryResultsResponse getQueryResults(Bigquery bigquery,
        String projectId, Job completedJob) throws IOException {        
    GetQueryResultsResponse queryResult = bigquery.jobs()
            .getQueryResults(projectId,
                    completedJob.getJobReference().getJobId()).execute();
    while(queryResult.getTotalRows() > queryResult.getRows().size()) {
        queryResult.getRows().addAll(
            bigquery.jobs()
                .getQueryResults(projectId,
                        completedJob.getJobReference().getJobId())
                .setStartIndex(queryResult.getRows().size())
                .execute()
                .getRows());            
    }
    return queryResult;
}