python - 登录后如何浏览网站

Question

我使用了 Mechanize 并成功登录到用户登录页面。现在我想将站点导航到子菜单中的特定页面。当我在登录后打开特定页面的 URL 尝试此操作时，会出现另一个登录页面，但我没有用户名和密码。当我在 Web 浏览器上浏览站点时，通常不会显示此登录页面。
我怎样才能做到这一点？

        import mechanize
        import webbrowser
        import cookielib

        usern = '****'
        passw = '****'

        br = mechanize.Browser()
        cj = cookielib.LWPCookieJar()
        br.set_handle_robots(False)
        br.addheaders = [('User-agent', 'Mozilla/5.0 X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]

        r = br.open("https://myunihub-1.mdx.ac.uk/cas-web/login?service=https%3A%2F%2Fmyunihub.mdx.ac.uk%2Fc%2Fportal%2Flogin")
        br.select_form(nr=0)
        br.form['username'] = usern
        br.form['password'] = passw
        br.set_cookiejar(cj)
        br.submit


        url = "https://misis.mdx.ac.uk/mislve/bwskfshd.P_CrseSchd"
        webbrowser.open_new(url)

Answer 1

尝试使用 cookie 并假装是真正的浏览器。某些站点不允许自动脚本/机器人抓取他们的站点。但是你总是可以告诉他们不，不，我是真正的浏览器。

import cookielib
cj = cookielib.LWPCookieJar()
br.set_cookiejar(cj)

让我们假装我们不是机器人和真正的浏览器。

br.set_handle_robots(False)
br.addheaders = [('User-agent', 'Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.1) Gecko/2008071615 Fedora/3.0.1-1.fc9 Firefox/3.0.1')]