python - 如何只读取python中字符串列表的一部分

Question

我需要找到一种方法能够从包含字符串的列表中读取 x 字节的数据。列表中的每个项目约为 36MB。我需要能够遍历列表中的每个项目，但一次只能抓取大约 ~1KB 的该项目。

基本上它看起来像这样:

for item in list:
    #grab part of item
    #do something with that part
    #Move onto next part, until you've gone through the whole item

我当前的代码(哪种有效，但似乎相当缓慢且效率低下)是这样的:

for character in bucket:
    print character
    packet = "".join(character)
    if(len(packet.encode("utf8")) >= packetSizeBytes):
        print "Bytes: " + str(len(packet.encode("utf8")))
        return packet

我想知道是否存在类似 f.read(bufSize) 的东西，但对于字符串。

不确定它是否相关，但为了了解更多上下文，这就是我正在做的事情:

我正在将一个非常大的文件(几 GB)中的数据读取到更小(更易于管理的 block )中。我使用 f.read(chunkSize) 对文件进行分块，并将它们存储为 buckets 但是，即使这些 buckets 对于我最终需要处理的数据来说仍然太大，所以我一次只想抓取桶的一部分。

最初，我绕过了整个桶的事情，只是将文件分成足够小的 block 来满足我的目的。然而，这导致我不得不将文件分块数十万次，这有点慢。我现在的希望是能够让桶排队，这样当我用一个桶做某事时，我就可以开始阅读其他桶。如果其中任何一个听起来令人困惑，请告诉我，我会尽力澄清。

谢谢

Answer 1

如果你正在使用 str(或 python 3 中的 byte)，每个字符都是一个字节，所以 f.read(5 ) 与 f[:5] 相同。如果你只想要列表中每个字符串的前 5 个字节，你可以这样做

[s[:5] for s in buckets]

但请注意，这是在复制所有这些字符串。在读取数据时只获取所需的数据，而不是创建一堆中间列表，然后将该数据发送到另一个线程来处理它并继续读取文件，这样内存效率更高。

import threading

def worker(chunk):
    # do stuff with chunk
    ...

def main():
    with open('file', 'r') as f:
        bucket = f.read(500)
        while bucket:
            chunk = bucket[:5]
            thread = threading.Thread(target=worker, args=(chunk,))
            thread.start()
            bucket = f.read(500)