java - 我可以将包含大量数据的外部 URL 上传到 App Engine blob 存储吗？

Question

我想将外部图片(我有其 URL)上传到 Blobstore。我不能发布数据，因为它在另一个网站上。

通过 (a) 使用提取服务提取 URL，然后 (b) 使用文件服务将来自 URL 的数据存储为 blob，上传非常简单。但是，这需要将数据加载到我正在运行的实例中。据我了解，获取服务的所有数据在上传之前都必须驻留在内存中，这限制了最大数据大小。如果获取服务流式传输数据，那还不错。

有谁知道我可以用内存高效的方式将外部图像复制到 blob 中的方法吗？

蒂姆

Answer 1

如果服务器支持，您可以分块下载文件。通常，服务器通过发送 Accept-Ranges 来表明这一点。 标题。您可以通过设置 Range 来请求特定的字节范围 标题。如果服务器接受它并且只提供指定的字节范围，它会发送 Content-Range 带有请求的 header 。

理论上，您应该能够继续追加到文件对象，直到完成它。