使用 Beautiful Soup 进行 Python 网页抓取 - 遇到麻烦

Question

我正在使用 BeautifulSoup 尝试从 CNN 主页上的不同主题中提取热门链接或简单的头条新闻。我似乎在这里遗漏了一些东西，希望得到一些帮助。我之前曾设法想出一些网络爬虫，但它总是经历很多阻力，而且是一场艰苦的战斗。

在我看来，我需要的链接最终存储在这样的地方:

<article class="cd cd--card cd--article cd--idx-1 cd--extra-small cd--has-siblings cd--media__image" data-vr-contentbox="/2015/10/02/travel/samantha-brown-travel-channel-feat/index.html" data-eq-pts="xsmall: 0, small: 300, medium: 460, large: 780, full16x9: 1100" data-eq-state="small">

我可以在 data-vr-contentbox 之后获取该链接，并将其附加到 www.cnn.com 的末尾，它会将我带到我需要的页面。我的问题是实际获取该链接。我尝试过各种形式来捕获它们。我当前的迭代如下:

r = requests.get("http://www.cnn.com/")

data = r.text
soup = BeautifulSoup(data)

for link in soup.findAll("article"):
    test = link.get("data-vr-contentbox")
    print(test)

我的问题是，它似乎只捕获了我真正需要的一小部分东西。我只看到两篇来自政治的文章，没有一篇来自旅行等的文章。我希望能得到一些帮助来解决这个问题。我希望获取每个主题下的所有链接。现在我只是把政治或旅行作为开始的基础。

特别是，我希望能够指定主题(科技、旅行、政治等)并捕获这些头条新闻。我是否可以简单地抓取链接并使用它们从相应页面获取标题，或者只是从这里获取标题......我似乎无法做到这一点。如果能够同时查看单个主题中的所有内容，那就太好了，但事实证明，找出如何缩小范围的方法并不简单。

示例文章是“IOS 9 的 Wi-Fi Assist 功能成本高昂”，可以在标签中找到。我希望能够找到主页上“技术”标题下的所有文章，并隔离这些标签以获取标题。该标题的标签如下所示:

<div class="strip-rec-link-title ob-tcolor">IOS 9's Wi-Fi Assist feature costly</div>

但我不知道如何做这两件事。我什至无法捕获标题，尽管当我尝试这样做时它位于标签内:

for link in soup.findAll("div"):
    print("")
    print(link)

我觉得我在某个地方有一个根本性的误解，尽管我之前已经成功地做过一些抓取。

Answer 1

我的猜测是 cnn.com 网站有一堆 javascript，在 beautifulsoup 读取后会呈现很多内容。我打开 cnn.com 并在 safari 中查看源代码，发现有 197 个 data-vr-contentbox 实例。然而，当我通过 beautifulsoup 运行它并将其转储出来时，只有 13 个 data-vr-contentbox 实例。

有很多关于处理它的帖子。可以从本题使用的方法入手:Scraping Javascript driven web pages with PyQt4 - how to access pages that need authentication?