python - 抓取新闻(Python 3.6，BeautifulSoup)

Question

我要刮spiegel.de/schlagzeilen获取日期下方显示的所有新闻资料(今天、昨天、几天前)。

<div class="schlagzeilen-content schlagzeilen-overview"> 

包含我想要的东西，我想，但还有一个问题:

print(data)

保留了我需要的数据，但除此之外它还附带了一堆我不想要的短语(比如集成模块的名称/HTML/CSS 的部分等等)

所以我选择了

for item in data:
    print(item.text)

这个有一个非常漂亮的输出(!)，但现在我错过了文章的 URL，拥有它很重要。有没有人可以帮助我？这是我的代码:

from bs4 import BeautifulSoup
import requests

website = 'http://spiegel.de/schlagzeilen'
r = requests.get(website)
soup = BeautifulSoup((r.content), "lxml")

data = soup.find_all("div", {"class": "schlagzeilen-content schlagzeilen-overview"})

for item in data:
    print(item.text)

Answer 1

你可以使用 CSS selector 查找所有文章链接:

from bs4 import BeautifulSoup
import requests

website = 'http://spiegel.de/schlagzeilen'
r = requests.get(website)
soup = BeautifulSoup((r.content), "lxml")

# data = soup.find_all("div", {"class": "schlagzeilen-content schlagzeilen-overview"})
links = soup.select('div.schlagzeilen-content a')

for item in links:
    print item.text, website + item['href']

一些输出:

Bayern: Sechs Tote in Gartenlaube - keine Hinweise auf Gewaltverbrechen http://spiegel.de/schlagzeilen/panorama/justiz/tote-in-gartenlaube-keine-hinweise-auf-gewaltverbrechen-a-1132268.html
Starbucks, Tesla, GE: Trumps Einreiseverbot beunruhigt US-Konzerne http://spiegel.de/schlagzeilen/wirtschaft/soziales/donald-trump-und-das-einreiseverbot-us-konzerne-zeigen-sich-besorgt-a-1132262.html
...