python - 使用Python将大文件发布到heroku

Question

我正在创建一个 python 脚本，它将音频文件发布到 API。大部分时间都在工作；然而，该应用程序位于 Heroku 上，大文件似乎受到了 Heroku 内存限制的影响。我尝试使用 multipart/form-data，但似乎这还不够。对于超过 5 分钟的任何内容，我都会收到 503 错误。

import requests
import os
import glob
from requests_toolbelt import MultipartEncoder

token = 'XXXX'
headers = {'Authorization': 'Bearer ' + token, 'Content-Type': 'application/json'}
base_url = 'https://test.com/api/'

for file in glob.glob("*.mp3"):
    files = MultipartEncoder(fields={'file': (file, open(file, "rb"), 'audio/mpeg')})
    audio_headers = {'Authorization': 'Bearer ' + token, 'Content-Type': files.content_type}
    add_file = requests.post(base_url, headers=audio_headers, data=files)

Answer 1

Heroku 对所有请求都有 30 秒的限制。较大的文件肯定会超过该期限，从而导致请求超时。唯一的解决方案是直接从浏览器发布到第三方存储(例如 Amazon S3)，然后向 heroku 发送包含上传数据位置的请求。使用后台进程，您将能够下载文件并根据需要进行处理。