exec - 为什么我无法查询 JIRA 超过 1000 条结果？

Question

我正在使用 Logstash 输入插件 exec 定期运行命令来获取 JIRA 数据。即使我设置 maxResults=99999，也只返回 1000 个结果。这是我现在的代码:

input {
    exec {
        command => "curl -u username:password https://mycompany.atlassian.net/rest/api/latest/search?project=project&maxResults=8500"
        interval => 300
        type => "issues"
    }


} output {  
    elasticsearch {
        hosts => "localhost:9200"
        index => "jira"
    }
}

我在网上发现，如果您运行大约 10 个执行程序，并将 startAt 设置为 0、1000、2000 等，您会得到大约 10000 个响应。这比仅由一名执行人员拉取 8000 个请求更快吗？如何使用 1 个 exec 返回超过 1000 个响应？

Answer 1

@alpert 的答案是正确的，但我会添加更多细节。

JIRA 的 REST API(以及大多数 REST API)支持分页，以防止 API 的客户端给应用程序带来过多的负载。这意味着您不能仅通过 1 个 REST 调用提取所有问题数据。

您只能使用分页查询参数 startAt 和 maxResults 检索最多 1000 个问题的“页面”。请参阅分页部分 here .

如果您运行 JIRA 独立服务器，则可以调整 JIRA 返回的最大结果数，但对于云实例，这是不可能的。看这个KB article了解更多信息。

您的logstash配置显示您定期将项目的所有JIRA问题转储到ElasticSearch中。可能有比使用 JIRA GET/issue REST API 调用更好的方法来实现您想要做的事情。那么您在 ElasticSearch 中使用这些数据做什么呢？

可能有一种方法可以在 JIRA 中完成您需要的操作，或者您可以寻找一种更方便的方法来导出所有 JIRA 数据，例如通过使用 export functionality .