python - BeautifulSoup 异常中循环抓取 HTML 文件

Question

我正在尝试从 HTML 文件的本地文件夹中获取几个变量，但在循环进行到一半时出现异常。异常(exception)情况是 AttributeError:“NoneType”对象没有属性“contents”。它实际上不是 .contents 我查看了它挂起的文件，它的结构与其他文件完全相同。如果删除 .contents 那么您只需使用 find() 函数引发相同的异常。有谁知道为什么会发生这种情况？同样，许多文件处理都没有问题。我的代码如下:

df_list = []
folder = 'rt_html'
for movie_html in os.listdir(folder):
    with open(os.path.join(folder, movie_html)) as file:
        soup = BeautifulSoup(file)
        title = soup.find('title').contents[0][:-len(' - Rotten Tomatoes')]
        audience_score = soup.find('div', class_ = 'audience-score meter').find('span').contents[0][:-1]
        num_audience_ratings = soup.find('div', class_ = 'audience-info hidden-xs superPageFontColor')
        num_audience_ratings = num_audience_ratings.find_all('div') [1].contents[2].strip().replace(',', '')
    
    
        # print(num_audience_ratings)
        # break
           
        df_list.append({'title': title,
                        'audience_score': int(audience_score),
                        'number_of_audience_ratings': int(num_audience_ratings)})
df = pd.DataFrame(df_list, columns = ['title', 'audience_score', 'number_of_audience_ratings'])

Answer 1

我的猜测是某些文件不具有您正在查找的属性。

例如。

 audience_score = soup.find('div', class_ = 'audience-score meter').find('span').contents[0][:-1]

如果没有带有 audience-scoremeter 类的 div，则 soup.find('div', class_ = 'audience-scoremeter') 将返回 None 。任何后续的 find 或 contents 都会导致 AttributeError

解决方案是尝试排除此并将值设置为空字符串。

try:    
    audience_score = soup.find('div', class_ = 'audience-score meter').find('span').contents[0][:-1]
except AttributeError:
    audience_score=""  

对 title 和 num_audience_ ratings(两项分配)执行相同的操作