http - S3 : How to do a partial read/seek without downloading the complete file?

Question

虽然它们类似于文件，但 Amazon S3 中的对象并不是真正的"file"，就像 S3 存储桶不是真正的目录一样。在 Unix 系统上，我可以使用 head 来预览文件的前几行，无论它有多大，但我不能在 S3 上这样做。那么如何在 S3 上进行部分读取呢？

Answer 1

S3 文件可能很大，但您不必为了读取前几个字节而获取整个文件。 S3 API 支持 HTTP Range: header (see RFC 2616) ，它采用字节范围参数。

只需将 Range: bytes=0-NN header 添加到您的 S3 请求中，其中 NN 是请求读取的字节数，您将只获取那些字节而不是读取整个字节文件。现在，您可以预览留在 S3 存储桶中的 900 GB CSV 文件，而无需等待整个文件下载完毕。阅读the full GET Object docs在亚马逊的开发者文档上。