python - 在python中将数组存储到持久内存的有效方法

Question

假设我们有一个像这样具有数百万个元素的长一维数组:

[0,1,1,1,1,2,1,1,1,1,1,1,1,...,1,2,2,2,2,2,2 ,2,4,4,4,4,4,4,4,4,4,3,4,1,1,1,1]

如果只有一个重复元素，我们可以使用稀疏数组，但由于它可以是任何类型的整数值(或一组标称元素)，这并不能达到我想的效果(或者我错了吗？ ).

我读到 PyTables 能够基于 HDF5 文件动态压缩数据，据我所知，这似乎是 python 的首选。

是否有人对此有经验并且可以判断这是否是一条合适的路线，或者是否有其他方法，在 cpu 和内存使用方面更有效(以最少的 CPU 周期换取减少的内存尺寸)。

Answer 1

我尝试使用您数据的重复性。假设您将数据存储在一个长序列中，例如一个列表:

long_sequence = [0,1,1,1,1,2,1,1,1,1,1,1,1,3,1,2,2,2,2,2,2,2,4,4,4,4,4,4,4,4,4,3,4,1,1,1,1]

现在我将两个连续元素之间的变化存储在一个元组列表中:

compressed_list = []
last_element = None
for i, element in enumerate(long_sequence):
    if element == last_element: continue
    else:
        compressed_list.append((i, element))
        last_element = element

# compressed_list: 
[(0, 0),
 (1, 1),
 (5, 2),
 (6, 1),
 (13, 3),
 (14, 1),
 (15, 2),
 (22, 4),
 (31, 3),
 (32, 4),
 (33, 1)]

现在，这可以解决存储问题，但数据的访问可能仍然需要大量计算(使用纯 Python):

def element_from_compressed_list_by_index(lst, idx):
     for (i, element), (next_i, _) in zip(lst, lst[1:]):
         if i <= idx < next_i: return element
     else: raise KeyError("No Element found at index {}".format(idx))
# This does not work for the last repetitive section of the sequence,
# but the idea gets across I think...

element_from_compressed_list_by_index(compressed_list, 3)
# Out: 1

读取和存储数据的更好方法是 sqlite 数据库。

import sqlite3 as sq
con = sq.connect(':memory') # would be a file path in your case

# create a database table to store the compressed list
con.execute("CREATE TABLE comp_store (start_index int, element int);")
# add the data
con.executemany("INSERT INTO comp_store (start_index, element) VALUES (?,?)", compressed_list)

要使用其索引(下例中的 7)从数据库中获取一个元素，您可以使用以下查询。

con.execute('SELECT element FROM comp_store WHERE start_index <= ? ORDER BY start_index DESC LIMIT 1', 
           (7,))

我认为 PyTables 仍然是正确的答案，据我所知，HDF5 格式被开源和专有产品广泛使用。但是，如果您出于某种原因想要使用 Python 标准库，这可能也是一个不错的选择。

提示: zip 和 enumerate 函数在 python3 中比在 python2 中更高效(事实上:惰性)...