python - 使用 boto 从 S3 流式传输 .gz 文件时无限循环

Question

我正在尝试使用 boto 从 S3 流式传输 .gz 文件并遍历解压缩文本文件的行。神秘的是，循环永远不会终止；读取整个文件后，迭代从文件开头重新开始。

假设我创建并上传了一个如下所示的输入文件:

> echo '{"key": "value"}' > foo.json
> gzip -9 foo.json
> aws s3 cp foo.json.gz s3://my-bucket/my-location/

然后我运行以下 Python 脚本:

import boto
import gzip

connection = boto.connect_s3()
bucket = connection.get_bucket('my-bucket')
key = bucket.get_key('my-location/foo.json.gz')
gz_file = gzip.GzipFile(fileobj=key, mode='rb')
for line in gz_file:
    print(line)

结果是:

b'{"key": "value"}\n'
b'{"key": "value"}\n'
b'{"key": "value"}\n'
...forever...

为什么会这样？我认为一定有一些非常基本的东西是我遗漏的。

Answer 1

啊，博托。问题是，如果您在 key 被完全读取一次后调用它，read 方法会重新下载 key (比较 read 和 next 方法以查看差异)。

这不是最干净的方法，但它解决了问题:

import boto
import gzip

class ReadOnce(object):
    def __init__(self, k):
        self.key = k
        self.has_read_once = False

   def read(self, size=0):
       if self.has_read_once:
           return b''
       data = self.key.read(size)
       if not data:
           self.has_read_once = True
       return data

connection = boto.connect_s3()
bucket = connection.get_bucket('my-bucket')
key = ReadOnce(bucket.get_key('my-location/foo.json.gz'))
gz_file = gzip.GzipFile(fileobj=key, mode='rb')
for line in gz_file:
    print(line)