python - 使用警报窗口身份验证抓取站点

Question

我正在尝试制作一个 python 应用程序，它会从我大学的 LMS 中抓取一些数据，以检查是否有新文件，如果有，则将它们下载到我的本地目录。

然而，对页面的访问是通过我的登录名和密码来保护的，但是该站点没有 html 登录表单之类的东西，它只是一个警报窗口类型的弹出窗口，我在其中输入我的登录名/密码(就像登录名一样通常在登录路由器时执行)，我不确定接下来如何进行。

在尝试抓取之前，有人可以帮助我或向我指出一些关于如何在此类站点上验证连接的资源吗？使用机械化或其他方式。

谢谢。

Answer 1

我认为这是 HTTP Basic 授权。尝试是否可以使用

登录

http(s)://(username):(password)@(url) 在浏览器的地址栏中。

如果是这样的话在 settings.py 中，使用它来启用相应的中间件:

DOWNLOADER_MIDDLEWARE = [ 'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware']

然后在你的蜘蛛中使用这样的中间件:

class TheSpider(scrapy.Spider):

http_user = 'username'
http_pass = 'password'

def crawl(self, response):
    pass

# do teh magicz!

它在文档中---参见here了解详情。