api - 从网站上抓取数据的最佳方式是什么？

Question

关闭。这个问题是opinion-based .它目前不接受答案。












想改善这个问题吗？更新问题，以便可以通过 editing this post 用事实和引文回答问题.

7年前关闭。



Improve this question




我需要从网站中提取内容，但该应用程序不提供任何应用程序编程接口(interface)或其他机制来以编程方式访问该数据。

我找到了一个有用的第三方工具，名为 Import.io它提供了用于抓取网页和构建数据集的点击即走功能，唯一的问题是我想将我的数据保存在本地，我不想订阅任何订阅计划。

这家公司使用什么样的技术来抓取网页并构建他们的数据集？我发现了一些网页抓取框架 pjscrape & Scrapy他们可以提供这样的功能吗

Answer 1

你肯定想从一个好的网页抓取框架开始。稍后您可能会认为它们太有限了，您可以将自己的库组合在一起，但是如果没有很多抓取经验，您的设计将比 pjscrape 或 scrapy 差得多。

注意:我在这里使用的术语爬行和抓取基本上可以互换。这是我对你的 Quora 问题的回答的副本，它很长。

工具

根据您的首选浏览器，熟悉 Firebug 或 Chrome 开发工具。当您浏览要从中提取数据的站点并确定哪些 url 包含您正在查找的数据以及哪些数据格式构成响应时，这将是绝对必要的。

您将需要良好的 HTTP 和 HTML 工作知识，并且可能希望在中间代理软件中找到一个像样的人。您需要能够检查 HTTP 请求和响应，并了解 cookie 和 session 信息以及查询参数是如何传递的。 Fiddler ( http://www.telerik.com/fiddler ) 和 Charles Proxy ( http://www.charlesproxy.com/ ) 是流行的工具。我经常使用 mitmproxy ( http://mitmproxy.org/ )，因为我更喜欢键盘侠而不是鼠标手。

某种控制台/shell/REPL 类型的环境，您可以在其中尝试具有即时反馈的各种代码片段，这将是非常宝贵的。像这样的逆向工程任务需要大量的反复试验，因此您需要一个可以简化此过程的工作流程。

语言

PHP 基本上已经过时了，它不太适合这项任务，而且这方面的库/框架支持很差。 Python(Scrapy 是一个很好的起点)和 Clojure/Clojurescript(非常强大和高效，但学习曲线很大)是解决这个问题的好语言。由于您不想学习一门新语言并且您已经知道 Javascript，我绝对建议您坚持使用 JS。我没有使用过 pjscrape，但从快速阅读他们的文档来看，它看起来相当不错。它非常适合并实现了我在下面描述的问题的出色解决方案。

关于正则表达式的说明:
不要使用正则表达式来解析 HTML。
许多初学者这样做是因为他们已经熟悉正则表达式。这是一个巨大的错误，使用 xpath 或 css 选择器来导航 html 并且只使用正则表达式从 html 节点内的实际文本中提取数据。这对你来说可能已经很明显了，如果你尝试一下，它很快就会变得明显，但是很多人出于某种原因浪费了很多时间走这条路。不要害怕 xpath 或 css 选择器，它们比正则表达式更容易学习，并且它们旨在解决这个确切的问题。

Javascript 密集型网站

在过去，您只需要发出一个 http 请求并解析 HTML 响应。现在，您几乎肯定必须处理由标准 HTML HTTP 请求/响应和目标站点的 javascript 部分发出的异步 HTTP 调用混合而成的站点。这是您的代理软件和 firebug/devtools 的网络选项卡非常方便的地方。对这些的响应可能是 html 或者它们可能是 json，在极少数情况下它们会是 xml 或其他东西。

有两种方法可以解决这个问题:

低级方法:

您可以找出网站 javascript 正在调用的 ajax url 以及这些响应的样子，然后自己发出相同的请求。所以你可以从 http://example.com/foobar 拉取 html并提取一条数据，然后必须从 http://example.com/api/baz?foo=b 中提取 json 响应...获取另一条数据。您需要注意传递正确的 cookie 或 session 参数。这是非常罕见的，但有时 ajax 调用所需的一些参数是在站点的 javascript 中进行的一些疯狂计算的结果，逆向工程这可能很烦人。

嵌入式浏览器方法:

为什么你需要弄清楚 html 中有哪些数据，哪些数据来自 ajax 调用？管理所有 session 和 cookie 数据？当您浏览网站时，您不必这样做，浏览器和网站 javascript 会这样做。这就是重点。

如果您只是将页面加载到像 phantomjs 这样的 headless 浏览器引擎中，它将加载页面，运行 javascript 并告诉您所有 ajax 调用何时完成。如有必要，您可以注入(inject)自己的 javascript 以触发适当的点击或触发站点 javascript 加载适当数据所需的任何内容。

您现在有两个选择，让它吐出完成的 html 并解析它，或者将一些 javascript 注入(inject)到页面中进行解析和数据格式化并吐出数据(可能是 json 格式)。您也可以自由混合这两个选项。

哪种方法最好？

这取决于，您肯定需要熟悉并适应低级方法。嵌入式浏览器方法适用于任何事情，实现起来会容易得多，并且会使抓取中一些最棘手的问题消失。它也是一个相当复杂的机器，您需要了解它。这不仅仅是 HTTP 请求和响应，它是请求、嵌入式浏览器呈现、站点 javascript、注入(inject)的 javascript、您自己的代码以及与嵌入式浏览器进程的双向交互。

由于渲染开销，嵌入式浏览器在规模上也慢得多，但这几乎可以肯定无关紧要，除非您正在抓取许多不同的域。在单个域的情况下，您需要对请求进行速率限制将使渲染时间完全可以忽略不计。

速率限制/机器人行为

你需要非常清楚这一点。您需要以合理的速度向目标域发出请求。在抓取网站时，您需要编写一个表现良好的机器人，这意味着尊重 robots.txt，而不是用请求来敲打服务器。这里的错误或疏忽是非常不道德的，因为这可以被视为拒绝服务攻击。可接受的速率取决于你问的人，1req/s 是谷歌爬虫运行的最大值，但你不是谷歌，你可能不像谷歌那样受欢迎。保持合理的速度。我建议每个页面请求之间间隔 2-5 秒。

使用标识您的机器人的用户代理字符串来识别您的请求，并为您的机器人提供一个解释其用途的网页。此 url 位于代理字符串中。

如果该站点想要阻止您，您将很容易被阻止。一个聪明的工程师可以轻松识别机器人，而他们端的几分钟工作可能会导致数周的工作改变你端的抓取代码，或者只是让它变得不可能。如果这种关系是对立的，那么目标站点的聪明工程师可以完全阻止编写爬虫的天才工程师。抓取代码本质上是脆弱的，这很容易被利用。无论如何，几乎可以肯定会引起这种 react 的东西是不道德的，所以编写一个表现良好的机器人，不要担心这一点。

测试

不是单元/集成测试人员？太糟糕了。你现在必须成为其中一员。站点经常更改，您将经常更改代码。这是挑战的很大一部分。

抓取现代网站涉及很多事件部分，良好的测试实践将有很大帮助。您在编写此类代码时会遇到的许多错误都是静默返回损坏数据的类型。如果没有良好的测试来检查回归，您会发现您已经将无用的损坏数据保存到数据库中一段时间​​而没有注意到。这个项目会让你非常熟悉数据验证(找到一些好的库来使用)和测试。需要综合测试和很难测试的问题并不多。

测试的第二部分涉及缓存和更改检测。在编写代码时，您不想无缘无故地为同一页面一遍又一遍地敲打服务器。在运行单元测试时，您想知道测试失败是因为您破坏了代码还是因为网站已经重新设计。针对所涉及的 url 的缓存副本运行单元测试。缓存代理在这里非常有用，但很难正确配置和使用。

您也确实想知道该站点是否已更改。如果他们重新设计了站点并且您的爬虫损坏了，您的单元测试仍然会通过，因为它们是针对缓存副本运行的!您将需要另一组较小的集成测试集，这些测试很少针对实时站点运行，或者在爬行代码中进行良好的日志记录和错误检测，以记录确切的问题，提醒您注意问题并停止爬行。现在您可以更新缓存、运行单元测试并查看需要更改的内容。

法律问题

如果你做愚蠢的事情，这里的法律可能会有点危险。如果涉及到法律，您将与那些经常将 wget 和 curl 称为“黑客工具”的人打交道。你不想要这个。

这种情况的道德现实是，使用浏览器软件请求 url 并查看一些数据与使用您自己的软件请求 url 并查看一些数据之间没有区别。谷歌是世界上最大的抓取公司，他们因此受到喜爱。在用户代理中识别您的机器人名称并公开您的网络爬虫的目标和意图将在此有所帮助，因为法律了解 Google 是什么。如果您正在做任何可疑的事情，例如创建虚假用户帐户或访问您不应该访问的站点区域(被 robots.txt “阻止”或由于某种授权漏洞)，请注意您正在做一些不道德的事情而法律对技术的无知在这里会格外危险。这是一个荒谬的情况，但这是一个真实的情况。

作为一个正直的公民，尝试和建立一个新的搜索引擎，在你的软件中犯错误或有错误并被视为黑客，这实际上是可能的。考虑到当前的政治现实，这不是你想要的。

无论如何，我是谁来写这堵巨大的文字墙？

在我的生活中，我写了很多网络爬虫相关的代码。作为顾问、员工和初创公司创始人，我从事与网络相关的软件开发已有十多年了。早期是编写 perl 爬虫/爬虫和 php 网站。当我们在 Jesse James Garrett 将其命名为 ajax 之前，在 XMLHTTPRequest 成为一个想法之前，嵌入隐藏的 iframe 将 csv 数据加载到网页中以执行 ajax。在 jQuery 之前，在 json 之前。我已经 30 多岁了，这显然被认为是这项业务的古老时期。

我已经编写过两次大型爬网/抓取系统，一次是为一家媒体公司的一个大团队(使用 Perl)编写的，最近一次是为一个作为搜索引擎初创公司 CTO 的小团队编写的(使用 Python/Javascript)。我目前是一名顾问，主要使用 Clojure/Clojurescript(一种很棒的专家语言，并且拥有使爬虫/爬虫问题成为乐趣的库)进行编码

我也写过成功的反爬虫软件系统。如果您想要或识别和破坏您不喜欢的机器人，那么编写几乎无法抓取的站点非常容易。

我比任何其他类型的软件都更喜欢编写爬虫、爬虫和解析器。它具有挑战性，有趣，可用于创造惊人的事物。