python - 如何使用 Beautiful Soup 收集元素？

Question

我正在尝试用漂亮的汤制作一个网络抓取工具，但每次我尝试抓取网站时，我都没有得到任何返回。在下面的代码中，我使用请求来获取网站，然后将其放入美丽的 soup 对象中。之后我尝试抓取所有标签。

我尝试观看 YouTube 教程并查看该框架的文档，但我只是不明白如何使用它。

from bs4 import BeautifulSoup
import bs4
import urllib

url = requests.get("https://www.rt.com/")

print(url.status_code)

soup = BeautifulSoup(url.content, 'html.parser')

soup.find_all('div')

Answer 1

您缺少 requests 包，并且您没有对结果执行任何操作。

from bs4 import BeautifulSoup
import requests

url = requests.get("https://www.rt.com/")

print(url.status_code)

soup = BeautifulSoup(url.content, 'html.parser')

divs = soup.find_all('div') # save results to a variable

# Print the text inside each div (example of how to use the results)
for div in divs:
    print(div.text)