python - 当我尝试使用 Python 进行网络抓取表格时，为什么要乘以文本？

Question

我正在尝试从网站上抓取表格，一切都很好，运行没有错误，但是当我在 csv 中打开它时，我看到有多个网页抓取:文本+表格，当我只需要我正在网络抓取的表格。

该表从第 53 行开始，我不明白。为什么我的代码不仅抓取表格，还抓取文本？

我的代码:

from bs4 import BeautifulSoup
from selenium import webdriver
import time
import unicodecsv as csv

filename = r'output.csv'

resultcsv = open(filename, "wb")
output = csv.writer(resultcsv, delimiter=';', quotechar='"',
                    quoting=csv.QUOTE_NONNUMERIC, encoding='latin-1')

profile = webdriver.FirefoxProfile()
profile.set_preference("intl.accept_languages", "en-us")
driver = webdriver.Firefox(firefox_profile=profile)
driver.get("https://www.flightradar24.com/data/airports/bud/arrivals")
time.sleep(10)
html_source = driver.page_source
soup = BeautifulSoup(html_source, "html.parser")
print(soup)

table = soup.find('table', { "class" : "table table-condensed table-hover data-table m-n-t-15" })

datatable = []
for record in table.find_all('tr'):
    temp_data = []
    for data in record.find_all('td'):
        temp_data.append(data.text.encode('latin-1'))
    datatable.append(temp_data)

output.writerows(datatable)

resultcsv.close()

Answer 1

您的表格在 tr 标记中包含所有这些行，这就是它们附加您想要的行的原因。

您需要过滤您期望的标签的类，在您的情况下这应该有效:

for record in table.find_all('tr', class_="hidden-xs hidden-sm ng-scope"):
    temp_data = []
    for data in record.find_all("td"):
        temp_data.append(data.text.encode('latin-1'))
    datatable.append(temp_data)