python - 打印来自网页的所有输入

Question

我试图创建一个小的 autoposter 脚本。我需要从网页中查找并打印所有输入。我正在尝试使用 mechanize图书馆。

我写了这个脚本:

import urllib  
import cookielib  
import mechanize  

url = "https://www.sito.com/page.html"  

cookie = cookielib.CookieJar()  
browser = mechanize.Browser()  

browser.set_cookiejar(cookie)  
browser.set_handle_refresh(mechanize._http.HTTPRefreshProcessor(), max_time=1)  

browser.open(url)  

for f  in browser.forms():  
    print f.name

如何使用 mechanize 打印来自网页的所有输入或者可能是另一个图书馆？

Answer 1

为什么不直接使用 urllib2 + BeautifulSoup :

import urllib2
from bs4 import BeautifulSoup

url = "http://sito.com/SitoContact.htm"  # change to whatever your url is

page = urllib2.urlopen(url).read()
soup = BeautifulSoup(page)

for i in soup.find_all('input'):
    print i

仅供引用，由于 ssl 错误，我无法访问您提供的页面，这就是示例使用另一个 URL 的原因。

请注意，如果您需要填写表单或使用输入进行一些操作，您将需要 mechanize或类似的工具。但是，无论如何，您可以继续使用 BeautifulSoup用于解析 html。另外，看看 Selenium项目。