python - 我如何在 python 中处理大数据流？

Question

Python 新手，c 背景强。

我正在编写一个简单的服务器，它从套接字读取大小为 1024 字节的 block 。我需要将 block 连接成一个大文件(这是一个视频)。对于初学者，我尝试过这样的事情

movie = bytearray()
while numblocksrxd != numBlocks:
    data=conn.recv(1024)
    numblocksrxd+=1
    movie = movie+data

我很快意识到这段代码会在我每次分配给它时创建一个新的 movie 实例，这会导致随着它的增长(我认为)越来越大的 mem 副本。如果我在 C 中这样做，我会简单地 malloc 我需要的空间并在它出现时填充它。我将如何在 Python 中处理它？<​​/p>

Answer 1

movie += data

如果目标是可变的，则扩充赋值通常无需创建新对象即可完成。在这种情况下，bytearray 支持就地 +=，因此这段代码不会创建新对象。当 bytearray 的内部缓冲区空间不足时，它将分配一个新缓冲区，但分配需要摊销常数时间，并且管理缓冲区的 movie 对象不会被替换。