python - 是否需要为他们定位的每个站点编写爬虫？

Question

我是抓取的新手。我写了一个scraper这将刮Maplin店铺。我使用 Python 作为语言，使用 BeautifulSoup 来抓取商店。

我想问一下，如果我需要抓取其他一些电子商务商店(比如 Amazon、Flipkart)，我是否需要自定义我的代码，因为它们具有不同的 HTML 架构(id 和 class 名称不同，还有其他一些东西)。所以，我写的爬虫不适用于其他电子商务商店。

我想知道比价网站如何从所有在线商店抓取数据？他们对不同的在线商店有不同的代码还是有一个通用的代码？他们研究每个在线商店的 HTML 架构吗？

Answer 1

do I need to customize my code

是的，当然。这不仅是因为网站具有不同的 HTML 架构。它还涉及加载/呈现页面所涉及的机制:一些网站使用 AJAX 加载页面的部分内容，其他网站让 javascript 填充页面上的占位符，这使得它更难抓取 - 可能有很多很多的差异。其他人会使用反网络抓取技术:检查您的标题、行为、在访问网站过于频繁后禁止您等。

我还看到过将价格保留为图像或用“噪音”混淆的情况 - 不同的标签相互隐藏，使用不同的技术隐藏，例如 CSS 规则、类、JS 代码、“显示:无”等等 - 对于浏览器中的最终用户来说，数据看起来很正常，但对于网络抓取“机器人”来说，它是一团糟。

want to know how price-comparison sites scrape data from all the online stores?

通常，他们会尽可能使用 API。但是，如果没有，网络抓取和 HTML 解析始终是一种选择。

---

一般的高级想法是将抓取代码分成两个主要部分。静态的是一个通用的网络抓取蜘蛛(逻辑)，它读取传入的参数或配置。动态的 - 注释器/网站特定配置 - 通常是特定于字段的 XPath 表达式或 CSS 选择器。

参见，例如，Autoscraping tool由 Scrapinghub 提供:

Autoscraping is a tool to scrape web sites without any programmingknowledge. You just annotate web pages visually (with a point andclick tool) to indicate where each field is on the page andAutoscraping will scrape any similar page from the site.

并且，仅供引用，研究一下 Scrapinghub 提供的内容和文档 - 有很多有用的信息和一组不同的独特网络抓取工具。

---

我个人参与了一个项目，我们正在构建一个通用的 Scrapy蜘蛛。据我所知，我们有一个“目标”数据库表，其中记录由浏览器扩展(注释器)插入，字段注释保存在 JSON 中:

{
    "price": "//div[@class='price']/text()",  
    "description": "//div[@class='title']/span[2]/text()"
}

通用蜘蛛接收目标 ID 作为参数，读取配置并抓取网站。

我们在通用方面遇到了很多问题。一旦网站涉及 javascript 和 ajax，我们就开始编写特定于站点的逻辑来获取所需的数据。

另见:

• Creating a generic scrapy spider
• Using one Scrapy spider for several websites
• What is the best practice for writing maintainable web scrapers?