python - 链接检查器(蜘蛛爬虫)

Question

我正在寻找一个链接检查器来抓取我的网站并记录无效链接，问题是我在开始时有一个登录页面，这是必需的。我想要的是一个链接检查器，用于运行命令后登录详细信息，然后抓取网站的其余部分。

任何想法都将不胜感激。

Answer 1

我最近刚刚解决了一个类似的问题:

import urllib
import urllib2
import cookielib

login = 'user@host.com'
password = 'secret'

cookiejar = cookielib.CookieJar()
urlOpener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookiejar))

# adjust this to match the form's field names
values = {'username': login, 'password': password}
data = urllib.urlencode(values)
request = urllib2.Request('http://target.of.POST-method', data)
url = urlOpener.open(request)
# from now on, we're authenticated and we can access the rest of the site
url = urlOpener.open('http://rest.of.user.area')