python - 我正在尝试代码，但不知道我在某个页面上遇到错误，例如没有对象属性

Question

我正在尝试抓取一个名为黄页的网站，它工作正常，但现在，我在几页后或在起始页上遇到了一些问题，即使他们给出了任何错误变量不是定义错误，我知道该变量在代码中。这是我的代码，请看一下，我在整个 Excel 上得到了同一个地址。这是我的代码。

from bs4 import BeautifulSoup
import requests
import csv
pagenum=15
maxpage = 30

while pagenum <= maxpage:
    newsu =pagenum
    newsu = str(newsu)
    csvname = 'dealers'+newsu+'.csv';
    csvfile = open(csvname , 'w')
    csv_writer = csv.writer(csvfile)
    csv_writer.writerow(['Business name', 'phone' , 'address' , 'website'] )
    page = 'https://www.yellowpages.com/search?search_terms=car%20dealer&geo_location_terms=Queens%2C%20NY&page={}'.format(pagenum)
    pagenum = pagenum+1
    source= requests.get(page).text
    x=0;
    soup= BeautifulSoup(source, 'lxml')
    ParentDiv=soup.find('div' , class_='organic')
     
    for PParentDiv in ParentDiv.find_all('div' , class_='v-card'):
        
        ress=addr=''
        PName = PParentDiv.find('a' , class_='business-name').span.text
        
        phone = PParentDiv.find('div' , class_='phones phone primary').text

        ress = PParentDiv.find('div' , class_='street-address').get_text()
        
        addr = PParentDiv.find('div' , class_='locality').get_text()
        address = ress + ' ' + addr
            
            
        x=x+1
        print(x)
            
        try:
            
            website = PParentDiv.find('a' , class_='track-visit-website').get('href')
        
        except Exception as e:
            website=''
       
        csv_writer.writerow([PName, phone , address , website])   
        
            
    csvfile.close()

Answer 1

使用try/except来处理类不存在的情况；

例如。

try: 
    ress = PParentDiv.find('div' , class_='street-address').get_text()
except AttributeError:
    ress = None

当没有街道地址时，页面可能根本不包含该 DIV - 并且您似乎随机收到错误。