amazon-s3 - 如何获取 S3 上文件的前 100 行？

Question

我在 Amazon S3 上有一个巨大的 (~6 GB) 文件，并且希望获取其中的前 100 行，而无需下载整个文件。这可能吗？

这就是我现在正在做的事情:

aws cp s3://foo/bar - | head -n 100

但这需要一段时间才能执行。我很困惑 - 一旦读取了足够的行，就不应该 head 关闭管道，导致 aws cp 在有时间下载整个文件之前因 BrokenPipeError 崩溃？

Answer 1

使用 GET 请求中的 Range HTTP header ，您可以检索 Amazon S3 中存储的对象中特定范围的字节。 (参见http://docs.aws.amazon.com/AmazonS3/latest/API/RESTObjectGET.html)

如果您使用 aws cli，则可以使用 aws s3api get-object --range bytes=0-xxx，请参阅 http://docs.aws.amazon.com/cli/latest/reference/s3api/get-object.html

它并不完全是几行，但应该允许您部分检索文件，从而避免下载完整对象