python - numpy.memmap 用于字符串数组？

Question

是否可以使用 numpy.memmap将基于磁盘的大型字符串数组映射到内存中？

我知道它可以用于 float 等，但这个问题专门针对字符串。

我对固定长度和可变长度字符串的解决方案都很感兴趣。

解决方案可以自由指定任何合理的文件格式。

Answer 1

如果所有的字符串都具有相同的长度，正如术语“数组”所暗示的那样，这很容易实现:

a = numpy.memmap("data", dtype="S10")

将是长度为 10 的字符串的示例。

编辑:由于显然字符串的长度不同，您需要索引文件以允许 O(1) 项访问。这需要读取整个文件一次并将所有字符串的起始索引存储在内存中。不幸的是，我认为如果不先在内存中创建一个与文件大小相同的数组，就没有一种纯粹的 NumPy 索引方式。不过，可以在提取索引后删除此数组。