带有 cookie 的 Python dryscrape 抓取页面

Question

我想从站点获取一些数据，这需要登录。
我通过请求

登录

url = "http://example.com"
response = requests.get(url, {"email":"a@gmail.com", "password":"12345"})
cookies = response.cookies

然后我想从一些 JS 页面获取数据。通过请求这是不可能的，所以我必须为此使用dryscrape。

import dryscrape
url = "http://example.com/js-page"
sess = dryscrape.Session()
sess.visit(url)

是否可以将 cookie 传递给 visit() 或者我必须寻找其他解决方案？

Answer 1

为什么不通过 dryscrape 登录？

session = dryscrape.Session()
session.visit('<url_where_is_login_form>')
name = session.at_xpath('//*[@name="username"]') # Where <input name="username">
name.set("<login>")
password = session.at_xpath('//*[@name="password"]') # Where <input name="password">
password.set("<password>")
# Push the button
name.form().submit()
session.visit("<url to visit with proper cookies>")