python - 无法抓取《华尔街日报》页面上 "div"类中的数据

Question

我正在尝试从《华尔街日报》网站上的文章中抓取文本内容。例如考虑以下 html 源:

<div class="article-content ">
       <p>BEIRUT—
      Carlos Ghosn, 
       who is seeking to clear his name in Lebanon, would face a very different path to vindication here, where endemic corruption and the former auto executive’s widespread popularity could influence the outcome of a potential trial. </p> <p>Mr. Ghosn, the former chief of auto makers

我正在使用以下代码:

res = requests.get(url)
html = BeautifulSoup(res.text, "lxml")
classid = "article-content "
item = html.find_all("div", {"class":classid})

这将返回一个空项目。我看到了其他一些人们建议的帖子 adding delays和 others但这些对我来说不起作用。计划将抓取的文本用于某些机器学习项目。

我订阅了《华尔街日报》，并在运行上述脚本时登录。

对此的任何帮助将不胜感激!谢谢

Answer 1

你的代码对我来说工作得很好。只要确保您正在搜索正确的“classid”即可。我认为这不会产生影响，但您可以尝试使用它作为替代方案:

item = html.find_all("div", class_ = classid)