python - 发送带有机械化和请求的 POST。

Question

我正在尝试使用 mechanize 发送 POST，但我的代码有时无法正常工作(我知道原因)。我用过 mechanize、twill 和 requests。对于机械化和斜纹布，它是有效的，而对于请求则不是。可能我做错了。

我的机械化代码。以下作品:

#!/usr/bin/env python
import sys
import urllib
import mechanize
from mechanize import ParseResponse, urlopen, urljoin
response = urlopen(url)
forms = ParseResponse(response, backwards_compat=False)
form = forms[0]
form["username"] = "avi"
form["password"] = "stackoverflow"
urlopen(form.click())

我的斜纹代码。它也有效:

import os
import twill
from twill.commands import *
out = open(os.devnull,"w")
twill.set_output(out)
go(url)
formvalue("1", "username", "avi")
formvalue("1", "password", "stackoverflow")
submit()
go(url2) #some protected page
content = show()
print 'content is',content[:100]

据我了解，机械化或斜纹首先获取页面，填写表格并发送表格。但是这里的问题是，有时目标页面显示随机页面，没有任何形式。在那种情况下，我得到一个错误，显然是因为没有表格可以显示。我不想处理这个错误，因为我已经知道帖子 URL。即使显示了一些随机页面，在我单击下一步后，也会加载相同的表单。 POST url、字段都保持不变。所以我想直接发送 POST 请求，因为我已经知道所有需要的细节。这是我的代码，based on :

browser = mechanize.Browser()
parameters = {"username" : "avi",
          "password" : "stackoverflow",
         }  
data = urllib.urlencode(parameters)
browser.open(post_url,data)
cool = browser.open(post_url + '%s' % data).read()
print cool

我得到一个错误:

urllib2.URLError: <urlopen error [Errno 61] Connection refused>

我对请求尝试了同样的事情。但我收到与上述相同的错误。这是代码:

import requests
from requests import session
payload = { 'username': 'avi','password': 'stackoverflow'}
url1 = 'http://example.com/login.php'
url2 = 'http://example.com/protected.php'

with session() as c:
    c.post(url1, data=payload)
    c.get(url2)

所以我在这里和那里戳了一下，阅读了一些在线可用的代码，我认为它不起作用，因为要防止 CSRF。所以我用斜纹布去了同一页，做了 showforms 并看到 token 有一些值(value):

这是我想要的:

1. 使用机械化和请求进行 POST(无需先下载页面)
2. 如何处理 CSRF token ？
3. 如何调试“urlopen 错误 [Errno 61] 连接被拒绝”

Answer 1

我成功地使用了下面的代码:

params = {u'user_login': self.USER, u'password':self.PASSWORD}
data = urllib.urlencode(params)
request = mechanize.Request( loginURL )
response = mechanize.urlopen(request, data=data)

为了处理 CSRF token 问题，我将以下行添加到我的 Controller 中:

skip_before_filter :verify_authenticity_token, :only => [:create]

为了在请求之间保持 session ，我使用了 cookiesJar。但是您可以从您的请求中检索 CSRF token 并将其保存在您的应用程序中，并在每个新请求中添加它。