python - 抓取时无法获取头条内容

Question

我是抓取新手，但我已经尝试了各种方法来解决这个问题，但没有得到想要的结果。我想抓取这个网站https://www.accesswire.com/newsroom/我想抓取所有的标题，当我在浏览器中检查它们时，标题会显示出来，但在使用 bs4 或 selenium 抓取后，我没有得到完整的页面源代码，也没有得到标题。

我已经尝试过 time.sleep(10) 但这对我来说也不起作用。我使用 selenium 来获取页面，但这对我来说也不起作用。div.column-15 w-col w-col-9这是标题所在的类、div

ua     = UserAgent()
header = {'user-agent':ua.chrome}
url = "https://www.accesswire.com/newsroom/"
response = requests.get(url, headers=header)
time.sleep(12)
soup = BeautifulSoup(response.content, 'html.parser')
time.sleep(12)
headline_Div = soup.find("div",{"class":"column-15 w-col w-col-9"})
print(headline_Div)

我只想获取本页所有的头条新闻和头条新闻链接或者至少应该显示完整的页面源代码，以便我可以自己操作它。

Answer 1

你不需要 Selenium 。只需使用更高效的请求和页面使用的 API

import re
import requests
from bs4 import BeautifulSoup as bs

r = requests.get('https://www.accesswire.com/api/newsroom.ashx')
p = re.compile(r" \$\('#newslist'\)\.after\('(.*)\);")
html = p.findall(r.text)[0]
soup = bs(html, 'lxml')
headlines = [(item.text, item['href']) for item in soup.select('a.headlinelink')]
print(headlines)

<小时/>

正则表达式说明:

尝试正则表达式 here