google-analytics - Pentaho Google Analytics(分析)插件-超过10,000行时该怎么办？

Question

对每个GA请求的响应都会返回一定数量的行（最多10,000个）。如果您的第一个请求定义的查询将导致超过10,000行（例如，示例导致26,000行），则仅返回前10,000行。然后，您必须发出另一个请求（使用相同的查询），指定要从10,001开始的下一个10,000行，然后另一个要求指定要在20,001之后的行的请求。

我的问题是Pentaho Google Analytics（分析）插件在后台执行此操作吗？在该主题的任何地方，我似乎都找不到任何有意义的文档。在此先感谢您提供的任何信息。

Answer 1

因此，根据Google的default maxResults设置为1,000。 GA PDI组件是开源的，因此代码为easily accessible，在快速扫描其Java代码后，该组件内部似乎在每个请求中使用默认的MaxResults（1,000），然后继续分页显示其余结果集以1,000为单位这就是我所假设的，但是最好确保该组件将获取每个结果集超过10,000行的所有数据。现在，我唯一不确定的是，这是否可以与Google 10 queries per second (QPS) per IP配额限制配合使用。

GAInputstep.java：

private DataEntry getNextDataEntry() throws KettleException {
    // no query prepared yet?
    if (data.query == null){
        data.query = getQuery();
        // use default max results for now
        //data.query.setMaxResults(10000);

        ...
    }
    // query is there, check whether we hit the last entry and requery as necessary
    else if (data.entryIndex >= data.feed.getEntries().size()){
        if (data.feed.getStartIndex()+data.entryIndex <= data.feed.getTotalResults()){
            // need to query for next page
            data.query.setStartIndex(data.feed.getStartIndex()+data.entryIndex);