javascript - 从 Python 在网页上执行 Javascript 方法

Question

我正在为特定网页编写网络抓取工具，我正在使用“urllib2.Request(MyURL)”和“BeautifulSoup”来执行此操作，但问题是 MyURL 中的页面上有一个分页，下一页加载(在同一个 myURL/page 中)通过点击一个链接，这个链接后面是写成 javascript 方法

{ javascript:__doPostBack('rptPagingBottom$ctl01$btnPage','') }.

现在如果不从 Python 执行这个 Javascript 函数，我就无法获得完整的页面列表。我如何从 Python 调用这个 Javascript 方法，以便我可以获得该网页的所有页面？

我发现了一个相关问题 here建议使用的地方(Rhino、V8、SeaMonkey)，但我根本没有得到。如果可能的话，我需要一些示例代码。

Answer 1

尝试 Selenium对于这种肮脏的工作(内联 js、ajax 页面加载)。它能够准确模拟浏览器可以使用 python 和浏览器驱动程序执行的操作。

您可以通过使用关键字“selenium crawler”在 google 中搜索来获取有关如何将其用作爬虫的一些信息。