python - 无法为形状(129213603，28)和数据类型为int8的数组分配3.37 GiB

Question

如果我在Spyder上运行python代码，则会收到上述错误代码。
我有一些很大的 list ，我将其列出为multiindex
4 list :

customer_list = []
for y in df_1['Sold-to SAP Cust No']:
    if y not in customer_list:
        customer_list.append(y)
        customer_list.sort()


df_c = pd.MultiIndex.from_product([
    customer_list,
    Material_list,
    Week_list,
    base_list],

列表中大约有200-300个条目。

错误代码是否表示列表太大？

Answer 1

问题是您试图分配的内存超过可用内存。

在Linux上，您可以在一定程度上过量使用内存，而在Windows上，您可以管理虚拟内存。

这是上一个关于堆栈溢出的问题的链接，可能有用。 Unable to allocate array with shape and data type。

关于内存管理，还有一些非常有趣的文章。我诚实的建议是研究在不将其全部存储到内存的情况下操纵数据的方法。您可以将数据存储在文件中，也可以处理数据库中的数据。这是一篇讨论大型数据集How to handle large datasets的文章。本文针对 Pandas ，但是概念是相同的。

从长远来看，您将受益匪浅，尤其是当您尝试在其他系统上运行该程序或使用更大的数据集时。