javascript - 如何使用 Node.js Request 模块处理对 Github API 的多页请求？

Question

我正在尝试访问 Github 上所有星数超过 5000 的存储库。我已经编写了这个抓取器来与 Node.js 一起使用(它在 Cloud9 环境中运行):

var request = require('request');
var fs = require('fs');

var options = {

    url: 'https://api.github.com/repositories',
    headers: {
    'User-Agent': 'myusernamehere'
    },
    qs: {
    stargazers: 5000
    }

};

function callback(error, response, body) {
  if (!error && response.statusCode == 200) {
    console.log(response.headers);

    fs.writeFile('output_teste.json', body, function (err) {
      if (err) throw err;
      console.log('It\'s saved!');
      console.log(response.statusCode);
    });

  } else {
    console.log(response.statusCode);
  }
}

request(options, callback);

但结果不是所有的存储库，只是所有存储库的第一页。如何将分页与 Request 模块一起使用？我试图在文档中找到示例，但它们不是很清楚。或者我是否需要使用其他库或其他语言来执行此操作？

谢谢!

Answer 1

您应该修改查询字符串以包含“since”的值。您可以在 github 文档中阅读更多内容。 https://developer.github.com/v3/repos/#list-all-public-repositories

查询字符串为 since 的示例 URL

https://api.github.com/repositories?since=364