javascript - 从许多不同网站抓取文章的选项

Question

我需要向单页面应用程序添加网页抓取功能。

我需要从许多不同的博客和服务中检索有用的内容。我所说的有用内容是指文章、文本和视频链接，以便将它们嵌入到我的页面中。

这个工具似乎可以提供我需要的东西:http://www.diffbot.com/

使用它，我可以简单地输入文章的 URL，该服务将从该单个页面检索我需要的所有数据。
然而，我不需要每月处理 25 万个请求，这将花费每月 300 美元；我需要一个解决方案来每月处理大约 5000 个请求，并且可以在以后进行扩展。

我通过 Google 找到了很多抓取解决方案，但它们大多提供定期从少数网站抓取自定义内容的解决方案 - 这不是我需要的。另外，我在这方面没有经验，所以我希望你能建议我应该用什么来达到这个目的。我主要处理 JavaScript。

此外，是否有可能允许客户端浏览器而不是服务器端抓取页面？

我使用 ReactJS 和 Flux 架构开发 SPA。服务器NodeJS+Express，数据库-Backendless

Answer 1

这听起来像是一个可能基于 node.js 构建的自定义解决方案将是你最好的选择(考虑到 js 要求)。您可以使用多个节点模块来完成此任务。我会推荐以下内容:

request - 用于从目标网页抓取html

cheerio - 用于过滤从请求中收集的html

node-horseman - 用于在目标网页上执行 javascript(用于更高级的抓取)

artoo - 客户端抓取库(我从未使用过这个库，但它可能正是您正在寻找的)

对于SPA开发我推荐sailsjs .

这是一个使用上述模块来抓取 https://rotogrinders.com/pages/mlb-pitcher-hub-sp-salary-charts-260515 的示例节点应用程序

请求和欢呼:

var cheerio = require('cheerio'),
    request = require('request');

//Define your target URL and HTTP method here
var options = {
  url: 'https://rotogrinders.com/pages/mlb-pitcher-hub-sp-salary-charts-260515',
  method: 'GET'
}

// Use request to grab the HTML defined in options and return the contents in "body"
request(options, function (err, res, body) {
  if (!err && res.statusCode == 200) {

    // Load the "body" with cheerio
    var $ = cheerio.load(body);

    // grab each occurrence of the matched html (Use Chrome developer tools to determine CSS) using Cheerio
    $('tbody').children().each(function(i, element){
      var $element = $(element);
      var name = $element.children().eq(0).text().trim();
      var salary = $element.children().eq(3).text().trim();

      // Put the filtered data in an object
      var post = {
        name: name,
        salary: salary
      }
      // Print the object to the console
      console.log(post);
    });
  }
});