python - 使用带有 javascript 页面的 python 请求

Question

我正在尝试将 Requests 框架与 python (http://docs.python-requests.org/en/latest/) 一起使用，但我尝试访问的页面使用 javascript 来获取我想要的信息。

我曾尝试在网上搜索解决方案，但事实上我使用关键字 javascript 进行搜索，我得到的大部分内容是如何使用 javascript 语言进行抓取。

有没有在使用 javascript 的页面上使用 requests 框架？

Answer 1

好消息:现在有一个支持 javascript 的请求模块:https://pypi.org/project/requests-html/

from requests_html import HTMLSession

session = HTMLSession()

r = session.get('http://www.yourjspage.com')

r.html.render()  # this call executes the js in the page

我认为，作为奖励，它包装了 BeautifulSoup，所以你可以做类似的事情

r.html.find('#myElementID').text

如您所愿返回 HTML 元素的内容。