python - 使用 python 和 selenium 进行网络爬行

Question

我正在尝试从网站抓取数据，但问题是有加载更多按钮来查看接下来的 50 条记录，同样我也必须单击直到记录结束。

我只能获取 50 个姓名和地址。需要获取所有内容直到加载更多结束。

对于动态点击按钮，我使用 selenium 和 python。

我想查找城市中所有零售商的名称、地址和联系电话

我的尝试:

import time
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.common.exceptions import TimeoutException

url = "https://www.test.in/chemists/medical-store/gujarat/surat"
browser = webdriver.Chrome()
browser.get(url)

time.sleep(1)
html = browser.page_source
soup = BeautifulSoup(html, "lxml")

try:
    for row in soup.find_all("div", {"class":"listing "}):
        #print(row.get_text())
        name = row.h3.a.string
        address = row.p.get_text()
        #contactnumber = need to find (can view after click on retailer name )
        print(name)
        print(address)
        print(contactnumber)

    button = browser.find_element_by_id("loadmore")
    button.click()

except TimeoutException as ex: 
    isrunning = 0

#browser.close()
#browser.quit()

Answer 1

如果您检查点击 load more 时进行的网络调用您可以看到这是一个 POST 请求，参数为城市、州和页码。因此，您可以使用普通的请求模块来代替在 Selnium 中加载脚本。例如，当您迭代页面时，此函数将为您执行加载更多函数。

def hitter(page):
    url = "https://www.healthfrog.in/importlisting.html"

    payload = "page="+str(page)+"&mcatid=chemists&keyword=medical-store&state=gujarat&city=surat"
    headers = {
        'content-type': "application/x-www-form-urlencoded",
        'connection': "keep-alive",
        'cache-control': "no-cache",
        'postman-token': "d4baf979-343a-46e6-f53b-2f003d04da82"
    }

    response = requests.request("POST", url, data=payload, headers=headers)
    return response.text

上面的函数为您获取包含名称和地址的页面的 html。现在您可以遍历页面，直到找到不返回任何内容的页面。例如，如果尝试使用卡纳塔克邦和迈 Solr 城市，您会注意到第三页和第四页之间的差异。这会告诉您必须在哪里停止。

要获取电话号码，您可以从<h3>请求html。批量列表响应(之前的响应)的标签。示例 html:

<div class="listing">
    <h3>
        <a href="https://www.healthfrog.in/chemists/sunny-medical-store-surat-v8vcr3alr.html">Sunny Medical Store</a>
    </h3>
    <p>
        <i class="fa fa-map-marker"></i>155 - Shiv Shakti Society,  Punagam, , Surat, Gujarat- 394210,India
    </p>
</div>

您需要解析 html 并找出电话号码在哪里，然后才能填充它。您可以使用以下方式请求此示例:

html = requests.get('https://www.healthfrog.in/chemists/sunny-medical-store-surat-v8vcr3alr.html').text

您现在可以使用 beautifulSoup 解析 html就像您之前所做的那样。

使用请求而不是 Selenium 来完成此操作有很多优点，您不需要每次需要电话号码时打开和关闭多个窗口，并且可以避免每次点击加载更多时元素过期。它也快得多。

<小时/>

请注意:如果您进行此类抓取，请遵守网站制定的规则。不要因发送太多请求而使其崩溃。

编辑:工作刮刀。

import requests, time, re
from bs4 import BeautifulSoup

def hitter(page, state="Gujarat", city="Surat"):
    url = "https://www.healthfrog.in/importlisting.html"

    payload = "page="+str(page)+"&mcatid=chemists&keyword=medical-store&state="+state+"&city="+city
    headers = {
        'content-type': "application/x-www-form-urlencoded",
        'connection': "keep-alive",
        'cache-control': "no-cache"
    }

    response = requests.request("POST", url, data=payload, headers=headers)
    return response.text

def getPhoneNo(link):
    time.sleep(3)
    soup1 = BeautifulSoup(requests.get(link).text, "html.parser")
    f = soup1.find('i', class_='fa fa-mobile').next_element
    try:
        phone = re.search(r'(\d{10})', f).group(1)
    except AttributeError:
        phone = None
    return phone

def getChemists(soup):
    stores = []
    for row in soup.find_all("div", {"class":"listing"}):
        print(row)
        dummy = {
            'name': row.h3.string,
            'address': row.p.get_text(),
            'phone': getPhoneNo(row.h3.a.get_attribute_list('href')[0])
        }
        print(dummy)
        stores.append(dummy)

    return stores

if __name__ == '__main__':
    page, chemists = 1, []
    city, state = 'Gulbarga', 'Karnataka'
    html = hitter(page, state, city)
    condition = not re.match(r'\A\s*\Z', html)
    while(condition):
        soup = BeautifulSoup(html, 'html.parser')
        chemists += getChemists(soup)
        page += 1
        html = hitter(page, state, city)
        condition = not re.match(r'\A\s*\Z', html)
    print(chemists)