python - 将生成器包装到缓冲区中？

Question

我有一个生成文件部分的 python 生成器(一个 wsgi app_iter)，我需要将它传递给一个接口(interface)，该接口(interface)期望它具有经典的 read和 readlines 方法(我想将它作为另一个 Request 的 wsgi.input 传递)。

有没有可能以一种不将整个生成器内容具体化到内存中的方式来做到这一点？这个想法是将生成器包装在具有 read 和 readline 的东西中(例如 BytesIO 或 StringIO)和以懒惰的方式去做。

Answer 1

这当然是可能的。这是一段效率极低的代码，可以为您提供想法:

class ReadWrapper:
    def __init__(self, app_iter):
        self.iterator = iter(app_iter)
        self.buffer = ''
    def readline(self):
        while '\n' not in self.buffer:
            try:
                self.buffer += next(self.iterator)
            except StopIteration:
                result = self.buffer
                self.buffer = ''
                return result
        idx = self.buffer.find('\n')
        result = self.buffer[:idx+1]
        self.buffer = self.buffer[idx+1:]
        return result

read() 类似，只是您不是在寻找 \n，而是在寻找指定的字节数(或者迭代器的末尾，如果未指定尺寸)。

上面代码的可悲的低效率在于它处理 self.buffer 的方式:你真的不想在整个事情中搜索 \n每一步，或者做很多潜在的大副本。