python - 尝试打印网页中的所有 TR 元素和所有 TD 元素

Question

我正在玩弄下面的脚本，并试图让它将网页中的所有 TR 元素和所有 TD 元素写入 CSV 文件。由于某些未知原因，我在 CSV 文件中根本没有得到任何数据。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv

url = "https://my_url"
page = requests.get(url)
pagetext = page.text

soup = BeautifulSoup(pagetext, 'html.parser')

file = open("C:/my_path/test.csv", 'w')

for row in soup.find_all('tr'):
    for col in row.find_all('td'):
        print(col.text)

我正在使用 Python 3.6。

Answer 1

您的网址不是网站，因此无法找到任何内容。您只需要修复 url，然后重试。

我已经修复了代码，这样你就可以完成它了。它只会将列表中的第一行数据添加到 csv 文件中。

from bs4 import BeautifulSoup
import requests
import pandas as pd
import csv

url = "https://www.w3schools.com/html/html_tables.asp"
page = requests.get(url)
pagetext = page.text

soup = BeautifulSoup(pagetext, 'html.parser')

file = open("C:/Test/test2.csv", 'w')

for row in soup.find_all('tr'):
    for col in row.find_all('td'):
        info= col.text
        print(info)


file.write(info)
file.close()