python - 使用boto从S3逐行读取文件？

Question

我在 S3 中有一个 csv 文件，我正在尝试读取标题行以获取大小(这些文件是由我们的用户创建的，因此它们几乎可以是任何大小)。有没有办法使用 boto 做到这一点？我想也许我可以使用 python BufferedReader，但我不知道如何从 S3 键打开流。任何建议都会很棒。谢谢!

Answer 1

这是一个实际逐行流式传输数据的解决方案:

from io import TextIOWrapper
from gzip import GzipFile
...

# get StreamingBody from botocore.response
response = s3.get_object(Bucket=bucket, Key=key)
# if gzipped
gzipped = GzipFile(None, 'rb', fileobj=response['Body'])
data = TextIOWrapper(gzipped)

for line in data:
    # process line