python - 如何有效地从字典创建一个大而稀疏的数据框？

Question

我有一个很大但非常稀疏的矩阵(50,000 行 * 100,000 列，只有 10% 的值是已知的)。该矩阵的每个已知元素都是一个从 0.00 到 1.00 的 float ，这些已知值存储在 python 字典中，格式如下:

{'c1': {'r1':0.27, 'r3':0.45}, 
 'c2': {'r2':0.65, 'r4':0.87} }

现在的问题是如何有效地从这个字典构造一个 pandas.DataFrame ？这里，效率包括内存使用和构建数据帧的时间。

对于内存使用，我希望通过 np.uint8 存储每个元素。因为已知值是从 0.00 到 1.00，而我只关心前 2 位数字，所以我可以通过乘以 100 将其转换为无符号 8 位整数。这可能会为此数据帧节省大量内存存储空间。

有什么办法吗？

Answer 1

dict 像:

{'c1': {'r1':0.27, 'r3':0.45}, 
 'c2': {'r2':0.65, 'r4':0.87} }

... 最好转换成这样的规范化结构:

 level0    level1   value
 c1        r1        0.27
 c1        r3        0.45
 c2        r2        0.65
 c2        r4        0.87

...比这样的数据透视表:

      r1    r2    r3    r4
c1  0.27   nan  0.45   nan
c2   nan  0.65   nan  0.87

... 因为后者占用更多内存。

构建规范化结构的合理内存效率方式是:

input = {'c1': {'r1':0.27, 'r3':0.45}, 
         'c2': {'r2':0.65, 'r4':0.87} }

result = []
for key, value in input.iteritems():
    row = pd.Series(value).reset_index()
    row.insert(0, 'key', key)
    result.append(row)

pd.concat(result, ignore_index=True)

这导致:

  key index     0
0  c2    r2  0.65
1  c2    r4  0.87
2  c1    r1  0.27
3  c1    r3  0.45