gpt4 book ai didi

python - 如何在 Python 中创建超过最大大小的列表

转载 作者:太空狗 更新时间:2023-10-29 21:24:42 25 4
gpt4 key购买 nike

根据 this , Python 列表在 32 位系统上的最大大小为 536,870,912 个元素

是否有任何可能的方法来初始化一个比这更大的列表?

假设:

list1 = [None]*1000000000

最佳答案

那么大的列表会占用大量空间,因为列表中的每个元素至少会占用 4 个字节,因此仅一个包含最大允许元素的列表将占用至少 2GB 的 RAM1。这还没有考虑 64 位系统2

  1. 4 * 5.4e+8 = 2.1e+9, 2.1 GB
  2. 8 * 1.2e+18 = 9.2e+18, 9.2 EB(是的,艾字节)

但是,为了这个问题,我们假设您有很多 RAM。


最简单的选择之一是创建您自己的对象来保存和处理庞大的列表。它基本上会将庞大的列表拆分成较小的列表,然后在需要时相应地访问它们。因为有no real benefits of subclassing list因为无论如何您都必须重写所有方法,所以您最好将 object 子类化,然后从那里开始。这里唯一重要的是永远不要合并或复制子列表(因为它们很大),所以使用 itertools.chain必要时遍历列表。

这是最简单的列表方法 appendextendget/setitem 工作示例:

import sys
from itertools import chain

class largeList(object):
def __init__(self, mylist=None):
self.maxSize = sys.maxsize/4
self.src = [[]]
self.extend(mylist if mylist is not None else [])

def __iter__(self):
return chain(*self.src)

def __getitem__(self, idx):
return self.src[int(idx/self.maxSize)][idx%self.maxSize]

def __setitem__(self, idx, item):
self.src[int(idx/self.maxSize)][idx%self.maxSize] = item
# expand set/getitem to support negative indexing.

def append(self, item):
if len(self.src[-1]) < self.maxSize:
self.src[-1].append(item)
else:
self.src.append([item])

def extend(self, items):
remainder = self.maxSize - len(self.src[-1])
self.src[-1].extend(items[:remainder])
for i in xrange(0, len(items[remainder:]), self.maxSize):
self.src.append(items[remainder:][i:i+self.maxSize])

def __len__(self):
return sum(len(l) for l in self.src)

def __str__(self):
size = self.__len__()
if size >= 8:
first, last = [], []
for i, ele in enumerate(self.__iter__()):
if i < 3:
first.append(ele)
if i >= size - 3:
last.append(ele)
return str(first)[:-1] + ', ..., ' + str(last)[1:]
return str(list(self.__iter__()))

使用示例(如果您的可用内存少于 4GB 或者您使用的是 64 位系统,请在尝试此操作之前更改 sys.maxsize!): p>

#sys.maxsize = 1000

list1 = largeList(xrange(sys.maxsize/4 + 2))
print len(list1)
# 53687093
print list1
#[0, 1, 2, ..., 536870910, 536870911, 536870912]
print list1.src
#[[0, 1, 2 ..., 536870910], [536870911, 536870912]]
list1.extend([42, 43])
print list1
#[0, 1, 2, ..., 536870912, 42, 43]

结果:列表在内部被分成多个列表,而在使用它们时它们似乎只是一个。通过添加更多方法可以轻松添加更多 list 功能。例如。 弹出删除插入索引:

(...)

def pop(self, idx):
listidx = int(idx/self.maxSize)
itempopped = self.src[listidx].pop(idx%self.maxSize)
for i in xrange(listidx, len(self.src)-1):
self.src[i].append(self.src[i+1].pop(0))
if not self.src[-1]:
del self.src[-1]
return itempopped

def remove(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
self.pop(i)
break

def insert(self, idx, item):
listidx = int(idx/self.maxSize)
itemtoshift = self.src[listidx].pop(-1)
self.src[listidx].insert(idx%self.maxSize, item)
for i in xrange(listidx+1, len(self.src)-1):
itemremoved = self.src[i].pop(-1)
self.src[i].insert(0, itemtoshift)
itemtoshift = itemremoved
if len(self.src[-1]) < self.maxSize:
self.src[-1].insert(0, itemtoshift)
else:
self.src.append([self.src[-1].pop(-1)])
self.src[-2].insert(0, itemtoshift)

def index(self, item):
for i, ele in enumerate(self.__iter__()):
if ele == item:
return i
return -1

使用示例,续:

#sys.maxsize = 1000

list1 = largeList(xrange(sys.maxsize/4 + 2))
list1.insert(0, 'a')
print list1
#['a', 0, 1, ..., 536870910, 536870911, 536870912]
list1.pop(2)
#1
list1.remove(536870910)
print list1.index('a')
#0
print len(list1)
#536870911
print list1
#['a', 0, 2, ..., 536870909, 536870911, 536870912]
print list.src
#[['a', 0, 2, ..., 536870909, 536870911], [536870912]]

关于python - 如何在 Python 中创建超过最大大小的列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/14576838/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com