python - 如何使用 python 和 beautifulsoup4 循环和抓取多个页面的数据

Question

我必须迭代 4000 多页:在每一页之后。当我们到达最后可用的页面时，没有更多的页面，所以我们完成并可以退出循环，例如最后。

可能没有涵盖欧洲所有国家的数据库(例如非民主国家白俄罗斯没有发布太多信息)。因此，如果您需要 OpenStreetMap 拥有的更多数据，您可能需要逐个国家查看。以下是法国的数据。法国政府创建了一个网站，显示法国所有 4307 家医院和诊所的名单:

http://www.ScopeSante.fr

单击“Voir la liste des établissements”获取完整列表。乍一看，从一个页面到另一个页面的抓取问题 - 可以通过不同的方法解决:

查看似乎从零数到最大值的数字 - 在这之间我们有一堆数字可以获取站点；例如 470000027

我们在页面底部没有分页:例如看:

https://www.scopesante.fr#/etablissements/470000027/fiche-detaillee/" LINIQUE ESQUIROL-SAINT-HILAIRE</span></a>
https://www.scopesante.fr#/etablissements/470005406/fiche-detaillee/" CH AGEN NERAC - HOPITAL DE MONBRAN-(Modification juridique le 31 décembre 2016)</span></a>
https://www.scopesante.fr#/etablissements/470008780/fiche-detaillee/" EHPAD-USLD DE POMPEYRIE CH AGEN NERAC</span></a>
https://www.scopesante.fr#/etablissements/470000423/fiche-detaillee/" CH AGEN NERAC - HOPITAL SAINT-ESPRIT</span></a>
https://www.scopesante.fr#/etablissements/470000159/fiche-detaillee/" CLINIQUE CALABET</span></a>
https://www.scopesante.fr#/etablissements/040780405/fiche-detaillee/" CENTRE DES CARMES</span></a>
https://www.scopesante.fr#/etablissements/430000166/fiche-detaillee/" CENTRE SSR JALAVOUX</span></a>
https://www.scopesante.fr#/etablissements/050000223/fiche-detaillee/" CENTRE HOSPITALIER AIGUILLES QUEYRAS</span></a>
https://www.scopesante.fr#/etablissements/030000160/fiche-detaillee/" CENTRE HOSPITALIER SPECIALISE D'AINAY</span></a>
https://www.scopesante.fr#/etablissements/950500017/fiche-detaillee/" GHI DU VEXIN SSR SITE AINCOURT</span></a>
https://www.scopesante.fr#/etablissements/400782769/fiche-detaillee/" POLYCLINIQUE DE L'ADOUR</span></a>
https://www.scopesante.fr#/etablissements/400780367/fiche-detaillee/" CLINIQUE MEDICALE JEAN SARRAILH</span></a>

等等......我们可以将这个 url 设置为基础 -

如果我们有一个数组，我们可以从中加载需要访问的 url - 我们会遇到所有页面..我们有大约 4400 个我们必须访问的页面的记录。

关于循环过程:

这里是页面参数后的附加信息

这意味着您可以读取页面的内容，然后将 page 的值更改为 1，然后读取下一页......等等。

import csv
import requests 
from bs4 import BeautifulSoup
for i in range(4400):      # Number of pages plus one 
    url = "".format(i)
    r = requests.get(url)
    soup = BeautifulSoup(r.content)

    # Your code for each individual page here 

  html = urlopen(url)
    soup = BeautifulSoup(html,"html.parser")
    Title = soup.find_all ,,,, 
    for i in Title:
        try:

            print(text)
f.close()

见下图:

问题是 - 解析器进程是否正常 - 从零到 100 000 的迭代？

<ul><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800002503/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SA CLINIQUE SAINTE ISABELLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800006231/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SSR CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800015539/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">HAD CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800000143/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/570000380/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABRESCHVILLER</span><span class="etablissement">ABRESCHVILLER - CRS SAINT LUC</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340017292/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">UADSA ST GUILHEM PAYS D'AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340780436/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">HOPITAL ST LOUP HBT AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">

问题是 - 解析器进程是否正常 - 从零到 100 000 的迭代？

Answer 1

当我访问所有场所列表网页时，我看到该站点首先使用自己的私有(private) API 来获取场所列表。查看:

https://ws.scopesante.fr/v4/carte-etablissements

私有(private) API 以 JSON 格式返回完整的机构列表及其“id”编号。所以，你去吧。这是完整列表。您可以使用每个组织的“id”号来查找每个组织的“详细信息”页面。因此，使用到“详细信息”页面的路由:

https://www.scopesante.fr#/etablissements/PUT_ID_NUMBER_HERE/fiche-detaillee/

您可以只获取所有“id”数字，将它们放入 Python 列表中，然后遍历那个列表(而不是像您上面描述的那样尝试计数)。

注意:抓取此数据时请保持尊重。在短时间内向服务器发出约 4000 个请求会增加负载。此外，如果该站点具有适当的反机器人机制，您可能会被阻止。

你是对的。大约有4400家机构；具体来说，我看到了 3869 家机构。但是，您可以查看每个组织的“id”号。因此，在抓取网站时使用这些“id”编号会更有效。

编辑:我更频繁地使用 API，发现您可以通过调用 API 直接获取特定机构的详细信息。见:

https://ws.scopesante.fr/v4/fiche-identite/010000024

这将返回特定机构的详细信息。只需将 URL 末尾的数字替换为您要查找的机构的“id”编号即可。

使用 API 通常比直接抓取页面更有效。与抓取网页相比，使用 API 对服务器的负载也更小。 API 直接为您提供数据。网页为您提供您不需要查看的数据和一堆资源(CSS、JS 等)。