python - 使用 Python 请求发布到 CloudApp API (AWS)

Question

我花了几天时间想弄清楚如何将图像发布到 CloudApp在 Python 中，使用 Requests 访问 CloudApp's API .我可以使用 pycloudapp 完成此操作，它使用 Poster ，但我想了解如何使用 Requests。

我一直在尝试使用 InspectB.in比较我的脚本和 pycloudapp 发布的内容，以找出差异。似乎不多，但显然存在的少数很重要。使用我当前的代码，我收到服务器端错误 (500)，这令人沮丧。因为基于 Poster 的代码有效，我希望找到一种方法让 Requests 也能正常工作，尽管我认为这可能不可行。

CloudApp 使用 Amazon Web Storage，我知道"file"参数必须放在 AWS 的最后。到目前为止，我已经尝试了几种使用 data = collections.OrderedDict(sorted(upload_values)); 的排列组合。 data['file'] = open(last_pic, 'rb') 没有 files 参数，而不是使用单独的 data 和 files 字典(如建议的 here 。我已经尝试了带有和不带文件名的 files 字典。

这是我的代码:

#!/usr/bin/env python

import requests
import os

last_pic = '/.../image.jpg'

USER = 'email@email.com'
PASS = 'mypass'

AUTH_URL = 'http://my.cl.ly'
API_URL = 'http://my.cl.ly/items/new'

s = requests.Session()
s.auth = requests.auth.HTTPDigestAuth(USER, PASS)
s.headers.update({'Accept': 'application/json'})

upload_request = s.get(API_URL)

upload_values = upload_request.json()['params']

filename = os.path.basename(last_pic)
upload_values['key'] = upload_values['key'].replace(r'${filename}', filename)

files = {'file': open(last_pic, 'rb')}

stuff = requests.post(upload_request.json()['url'], data=upload_values, files=files)
print(stuff.text)

根据 InspectB.in，工作 (pycloudapp) 帖子和我的帖子之间的唯一区别是:

pycloudapp post body 中的每个参数都有 Content-Type: text/plain; charset=utf-8，但在我的代码中没有。例如:

--d5e0c013a6de4105b07ac844eea4da6e
Content-Disposition: form-data; name="acl"
Content-Type: text/plain; charset=utf-8

public-read

对比我的:

--b1892e959d124887a61143dd2b468579
Content-Disposition: form-data; name="acl"

public-read

文件数据不同。

云应用:

--d5e0c013a6de4105b07ac844eea4da6e
Content-Disposition: form-data; name="file"
Content-Type: text/plain; charset=utf-8

����JFIFHH���ICC_PROFILE�applmntrRGB XYZ �...

对比我的:

--b1892e959d124887a61143dd2b468579
Content-Disposition: form-data; name="file"; filename="20130608-ScreenShot-180.jpg"
Content-Type: image/jpeg

����JFIFHH���ICC_PROFILE�applmntrRGB XYZ �...

header 除了以下内容外基本相同:

云应用:

Accept: application/json
Accept-Encoding: identity

我的:

Accept: */*
Accept-Encoding: gzip, deflate, compress

具体来说，两者都成功注册为 Content-Type: multipart/form-data

认为接受 header 可能是重要的区别，我尝试添加 headers = {'accept': 'application/json', 'content-type': 'multipart/form-data'} (以及这两个单独的)，没有运气。不幸的是，如果我修改 header ，它会覆盖所有 header 并丢失多部分编码。

我也想知道我帖子中的文件 Content-Type: image/jpeg 与 Content-Type: text/plain;工作帖子中的 charset=utf-8 可能是问题所在。

很抱歉发了这么长的帖子，这让我发疯了，感谢您提供的任何帮助。

Answer 1

几天后，我终于想通了这个(简单的)问题。 CloudApp API 需要对 Amazon 响应中的“Location” header 发出“GET”请求。

Pycloudapp工作正常，因为它使用 return json.load(self.upload_auth_opener.open(request)) 正确验证了 GET 响应。

我不确定为什么我能够使用 Postman 正确发布没有任何身份验证——它以某种方式正确地遵循了没有凭据的 GET，即使 CloudApp API 指定遵循重定向 requires authentication .

我无法通过 Requests 正确遵循重定向，因为我发布了未经身份验证的值(如果我继续使用 s.post 的 Session()，auth header 会抛出错误，因为亚马逊不希望它们出现)，因此随后的 GET 也未通过身份验证。考验的一个非常令人困惑的部分是发布的图像没有出现在我的 CloudApp 帐户中。然而，后来我发现我可以手动将亚马逊的响应“位置”粘贴到浏览器窗口中，然后突然张贴的图片出现在我的帐户中。这让我意识到 POST 是不够的；需要经过身份验证的 GET 才能完成该过程。

然后我发现我没有从 requests.post.headers 中得到任何帮助。花了几分钟才弄清楚它是用来自重定向的 header (来自它所遵循的 GET 的 500 错误)而不是来自 POST 的 header 进行响应。添加 allow_redirects=False 后，我就可以正确访问亚马逊响应的“位置” header 。我只是将该 header 反馈到我经过身份验证的 Session() 中，它终于起作用了。

另一件对该过程有帮助的事情是 this SO thread这教会了我 logging with Requests .

希望这个解释有意义并能帮助到其他人。在过去的几天里，我当然学到了很多东西。我的代码可能仍需要改进，我想用 urllib.quote_plus 做更多测试，以及我是否需要 UTF-8 编码的东西，但我今天没有上传，所以必须等待。

我当前的代码:

#!/usr/bin/env python

import requests
from collections import OrderedDict
import keyring
import os

last_pic = '/path/to/image.jpg'

USER = 'myemail@email.com'
KEYCHAIN_SERVICE_NAME = 'cloudapp'

# replace with PASS = 'your_password' if you don't use keyring
PASS = keyring.backends.OS_X.Keyring.get_password(KEYCHAIN_SERVICE_NAME, USER)

AUTH_URL = 'http://my.cl.ly'
API_URL = 'http://my.cl.ly/items/new'

s = requests.Session()
s.auth = requests.auth.HTTPDigestAuth(USER, PASS)
s.headers.update({'Accept': 'application/json'})

upload_request = s.get(API_URL)
param_list = []
for key, value in upload_request.json()['params'].items():
    param_list.append((key.encode('utf8'), value.encode('utf8')))
data = OrderedDict(sorted(param_list))

filename = (os.path.basename(last_pic)).encode('utf8')
data['key'] = data['key'].replace(r'${filename}', filename)
files = {'file': (filename, open(last_pic,'rb').read()) }

stuff = requests.post(upload_request.json()['url'], data=data, files=files, allow_redirects=False)

s.get(stuff.headers['Location'])