python - 如何将网页保存到磁盘以便以后使用 splinter 库进行抓取？

Question

我有以下 python 代码，使用 splinter 库在网站中搜索特定术语:

from splinter import Browser
browser = Browser()

browser.visit("http://decs.bvs.br/cgi-bin/wxis1660.exe/decsserver/?IsisScript=../cgi-bin/decsserver/decsserver.xis&interface_language=p&previous_page=homepage&previous_task=NULL&task=start")
browser.choose('search_language','p')
browser.fill('search_exp','costas')
element = browser.find_by_name("consult_button")
element.click()

它起作用了，firefox 页面打开了包含结果的页面。但是，我还没有找到一种方法可以将这些结果作为 html 文件保存到磁盘，以便从中抓取它们。如何使用 splinter 将网页保存到磁盘？

提前致谢

Answer 1

你可以打开一个文件写browser.html对它:

with open('output.html', 'w') as f:
    f.write(browser.html.encode('utf-8'))

---

请注意，我没有看到您需要保存 html 以供后期抓取的正当理由。 splinter(和 selenium 一样)在定位元素方面非常强大。该库不仅用于程序化 Web 浏览，还可以导航、搜索、提取等。参见 Finding elements .