python - 从登录的另一端下载文件

Question

我需要使用 Python 下载大量 URL，但它们需要密码才能访问它们(例如，类似于 cpanel 等系统)。

有什么办法可以做到这一点，存储cookie吗？

如果可能的话我想使用 urllib2。

编辑:澄清一下，这是我的网站，我有登录详细信息。

更新:好的，我正在使用这个:

cj          = cookielib.CookieJar()
opener      = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
login_data  =   urllib.urlencode({'login_name' : username, 'password' : password})
opener.open(loginURL, login_data)
productlist = opener.open(productURL)
print productlist.read()

但它只是再次弹出登录页面。什么不起作用？(变量就在那里，我只是为了安全起见没有向您展示它们是什么)

Answer 1

您必须使用urllib2.HTTPCookieProcessor，如下所示:

import urllib2
from cookielib import CookieJar

cookiejar = CookieJar()
opener = urllib2.build_opener()
cookieproc = urllib2.HTTPCookieProcessor(cookiejar)
opener.add_handler(cookieproc)

然后您只需使用 opener.open() 访问 URL，Cookie 将自动保存并在以后的请求中重复使用。