python - Python 中 HTTP POST 请求的行为不一致

Question

尝试在 Python (WSGI) 和 NodeJS + Express 应用程序之间发出 POST 请求。他们在不同的服务器上。

问题在于，当使用不同的 IP 地址(即私有(private)网络与公共(public)网络)时，在公共(public)网络上的 urllib2 请求成功，但对私有(private)网络的相同请求失败并显示 502 Bad Gateway 或 URLError [32] Broken pipe。

我使用的 urllib2 代码是这样的:

req = urllib2.Request(url, "{'some':'data'}", {'Content-Type' : 'application/json; charset=utf-8'})

res = urllib2.urlopen(req)

print f.read()

现在，我也使用 requests 像这样对请求进行了编码:

r = requests.post(url, headers = {'Content-Type' : 'application/json; charset=utf-8'}, data = "{'some':'data'}")

print r.text

并获得 200 OK 响应。这种替代方法适用于两个网络。

我有兴趣了解 urllib2 请求是否需要一些我不知道的额外配置，或者我是否需要查看一些可能丢失的网络配置(我不相信是这种情况，因为备用请求方法有效，但我肯定是错的)。

任何有关此的建议或指示将不胜感激。谢谢!

Answer 1

这里的问题是，正如 Austin Phillips 指出的那样，urllib2.Request的构造函数的 data 参数:

may be a string specifying additional data to send to the server… data should be a buffer in the standard application/x-www-form-urlencoded format. The urllib.urlencode() function takes a mapping or sequence of 2-tuples and returns a string in this format.

通过向其传递 JSON 编码数据而不是 urlencoded 数据，您会在某处混淆它。

但是，Request 有一个方法 add_data :

Set the Request data to data. This is ignored by all handlers except HTTP handlers — and there it should be a byte string, and will change the request to be POST rather than GET.

如果您使用它，您可能还应该使用 add_header 而不是在构造函数中传递它，尽管文档中的任何地方似乎都没有具体提及。

所以，这应该可行:

req = urllib2.Request(url)
req.add_data("{'some':'data'}")
req.add_header('Content-Type', 'application/json; charset=utf-8')
res = urllib2.urlopen(req)

---

在评论中，您说:

The reason I don't want to just switch over to requests without finding out why I'm seeing this problem is that there may be some deeper underlying issue that this points to that could come back and cause harder-to-detect problems later on.

如果您想找到更深层次的潜在问题，您将无法仅通过查看客户端来源来做到这一点。弄清楚“为什么 X 有效但 Y 失败？”的第一步使用网络代码是为了弄清楚 X 和 Y 各自发送的字节。然后您可以尝试缩小相关差异的范围，然后找出您的代码的哪一部分导致 Y 在相关位置发送了错误的数据。

您可以通过在服务上记录内容(如果您控制它)、运行 Wireshark 等来完成此操作，但对于简单的情况，最简单的方法是 netcat。您需要为您的系统阅读 man nc(并且，在 Windows 上，您需要先获取并安装 netcat，然后才能运行它)，因为每个版本的语法都不同，但是它总是像 nc -kl 12345 这样简单的东西。

然后，在您的客户端中，将 URL 更改为使用 localhost:12345 代替主机名，它将连接到 netcat 并发送其 HTTP 请求，该请求将被转储到终端。然后您可以复制它并使用 nc HOST 80 并粘贴它以查看真实服务器如何响应，并使用它来缩小问题所在的范围。或者，如果您遇到困难，至少您可以将数据复制并粘贴到您的 SO 问题中。

---

最后一件事:这几乎肯定与您的问题无关(因为您正在使用 requests 发送完全相同的数据并且它正在工作)，但您的数据实际上不是有效的 JSON，因为它使用单引号而不是双引号。根据the docs , string 定义为:

string
    ""
    " chars "

(文档也有很好的图形表示。)

一般来说，除了非常简单的测试用例，你不会希望手工编写 JSON。在许多情况下(包括您的情况)，您只需将 "..." 替换为 json.dumps(...)，因此这并不是什么大问题。所以:

req = urllib2.Request(url)
req.add_data(json.dumps({'some':'data'}))
req.add_header('Content-Type', 'application/json; charset=utf-8')
res = urllib2.urlopen(req)

那么，它为什么有效？好吧，在 JavaScript 中，单引号字符串是合法的，反斜杠转义等其他在 JSON 中无效的东西也是合法的，任何使用 restricted-eval(或者更糟的是原始 eval)进行解析的 JS 代码都会接受它.而且，由于很多人因此习惯于编写糟糕的 JSON，因此许多浏览器的 native JSON 解析器和许多其他语言的 JSON 库都有解决方法来允许常见错误。但你不应该依赖它。