python - 如何从 锁定标签中抓取数据？

Question

我正在使用 bs4 和 urllib2 从网站获取一些信息。

这是 webpage .

我必须获取电话的其余部分 3610......但首先我必须按此按钮以显示电话的其余部分。

此信息位于此 div 中:

<div class="telefones">
        Telefone(s): <span id="telefones">3610...
        <span><input type="button" id="verTel" value="ver telefone completo"/></span></span>
</div>

是否可以通过将 bs4 与 urllib2 一起使用来实现这一点？

Answer 1

电话号码是从对 http://www.ribeiraosaude.com.br/home/GetTelefone/<id> 的响应中加载的url，使用 requests 发出此请求并从 JSON 响应中提取电话号码:

import requests
from bs4 import BeautifulSoup

page_id = 937
with requests.Session() as session:  # maintaining web-scraping session
    response = session.get("http://www.ribeiraosaude.com.br/detalhe/%d" % page_id)
    soup = BeautifulSoup(response.content, "html.parser")

    phone_number = session.get("http://www.ribeiraosaude.com.br/home/GetTelefone/%d" % page_id).json()["telefone"]
    print(phone_number)