- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我知道这里回答了一个类似的问题:How is Python's List Implemented?但我想问更多的细节。我想知道更多关于 CPython 如何实现列表大小调整的信息。我对C不太熟悉,所以看源码有点费劲。
我想我理解的是,有列表的大小Py_ssize_t ob_size
和分配给列表的数量Py_ssize_t allocated
,当ob_size
达到allocated
,则需要分配更多的内存。我假设如果系统允许,内存将被分配到位,否则列表将被复制到内存中的另一个位置。特别是,我问的是选择将 allocated
更改多少。来自 listobject.c
,新分配的内存如下:
new_allocated = (size_t)newsize + (newsize >> 3) + (newsize < 9 ? 3 : 6);
本质上,我们分配的对象大小比所需的对象大小多 1/8(忽略常量)。我想知道为什么选择这个1/8?在我的入门编码课上,我记得学习过 ArrayLists,当它满了时,它的大小会增加一倍。也许也可以选择增加 1/2 或 1/4。增加越小,一长串追加的摊销时间就越差(仍然不变,但因子更大),因此 1/8 似乎是一个糟糕的选择。我的猜测是,每次分配少量资金会增加能够就地重新分配的机会。这是正确的推理吗?这个 CPython 实现在实践中是否运行良好?
注意:当删除元素后减少分配给列表的内存时,当列表减少到原始大小的一半时会发生这种情况,从这部分代码可以看出:
/* Bypass realloc() when a previous overallocation is large enough to accommodate the newsize. If the newsize falls lower than half the allocated size, then proceed with the realloc() to shrink the list. */
if (allocated >= newsize && newsize >= (allocated >> 1)) {
最佳答案
嗯,基于the 21-year-old commit that implemented that behavior ,原因是“因为它改善了 Tim Peters 的 Win98 机器上的内存行为”。从下面的提交中复制 Tim 的评论。
Accurate timings are impossible on my Win98SE box, but this is obviouslyfaster even on this box for reasonable list.append() cases. I givecredit for this not to the resizing strategy but to getting rid of integermultiplication and divsion (in favor of shifting) when computing therounded-up size.
For unreasonable list.append() cases, Win98SE now displays linear behaviorfor one-at-time appends up to a list with about 35 million elements. Thenit dies with a MemoryError, due to fatally fragmented address space(there's plenty of VM available, but by this point Win9X has broken userspace into many distinct heaps none of which has enough contiguous spaceleft to resize the list, and for whatever reason Win9x isn't coalescingthe dead heaps). Before the patch it got a MemoryError for the samereason, but once the list reached about 2 million elements.
Haven't yet tried on Win2K but have high hopes extreme list.append()will be much better behaved now (NT & Win2K didn't fragment address space,but suffered obvious quadratic-time behavior before as lists got large).
For other systems I'm relying on common sense: replacing integer * and /by << and >> can't plausibly hurt, the number of function calls hasn'tchanged, and the total operation count for reasonably small lists is aboutthe same (while the operations are cheaper now).
...
This over-allocates proportional to the list size, making roomfor additional growth. The over-allocation is mild, but isenough to give linear-time amortized behavior over a longsequence of appends() in the presence of a poorly-performingsystem realloc() (which is a reality, e.g., across all flavorsof Windows, with Win9x behavior being particularly bad -- andwe've still got address space fragmentation problems on Win9xeven with this scheme, although it requires much longer lists toprovoke them than it used to).
Raymond Hettinger 在 this commit 中进一步调整了这些值:
The Py2.3 approach overallocated small lists by up to 8 elements.The last checkin would limited this to one but slowed down (by 20 to 30%)the creation of small lists between 3 to 8 elements.
This tune-up balances the two, limiting overallocation to 3 elements(significantly reducing space consumption from Py2.3) and running fasterthan the previous checkin.
The first part of the growth pattern (0, 4, 8, 16) neatly meshes withallocators that trigger data movement only when crossing a power of twoboundary. Also, then even numbers mesh well with common data alignments.
关于python - Python 列表实现细节,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/69726844/
背景: 我最近一直在使用 JPA,我为相当大的关系数据库项目生成持久层的轻松程度给我留下了深刻的印象。 我们公司使用大量非 SQL 数据库,特别是面向列的数据库。我对可能对这些数据库使用 JPA 有一
我已经在我的 maven pom 中添加了这些构建配置,因为我希望将 Apache Solr 依赖项与 Jar 捆绑在一起。否则我得到了 SolarServerException: ClassNotF
interface ITurtle { void Fight(); void EatPizza(); } interface ILeonardo : ITurtle {
我希望可用于 Java 的对象/关系映射 (ORM) 工具之一能够满足这些要求: 使用 JPA 或 native SQL 查询获取大量行并将其作为实体对象返回。 允许在行(实体)中进行迭代,并在对当前
好像没有,因为我有实现From for 的代码, 我可以转换 A到 B与 .into() , 但同样的事情不适用于 Vec .into()一个Vec . 要么我搞砸了阻止实现派生的事情,要么这不应该发
在 C# 中,如果 A 实现 IX 并且 B 继承自 A ,是否必然遵循 B 实现 IX?如果是,是因为 LSP 吗?之间有什么区别吗: 1. Interface IX; Class A : IX;
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我正在阅读标准haskell库的(^)的实现代码: (^) :: (Num a, Integral b) => a -> b -> a x0 ^ y0 | y0 a -> b ->a expo x0
我将把国际象棋游戏表示为 C++ 结构。我认为,最好的选择是树结构(因为在每个深度我们都有几个可能的移动)。 这是一个好的方法吗? struct TreeElement{ SomeMoveType
我正在为用户名数据库实现字符串匹配算法。我的方法采用现有的用户名数据库和用户想要的新用户名,然后检查用户名是否已被占用。如果采用该方法,则该方法应该返回带有数据库中未采用的数字的用户名。 例子: “贾
我正在尝试实现 Breadth-first search algorithm , 为了找到两个顶点之间的最短距离。我开发了一个 Queue 对象来保存和检索对象,并且我有一个二维数组来保存两个给定顶点
我目前正在 ika 中开发我的 Python 游戏,它使用 python 2.5 我决定为 AI 使用 A* 寻路。然而,我发现它对我的需要来说太慢了(3-4 个敌人可能会落后于游戏,但我想供应 4-
我正在寻找 Kademlia 的开源实现C/C++ 中的分布式哈希表。它必须是轻量级和跨平台的(win/linux/mac)。 它必须能够将信息发布到 DHT 并检索它。 最佳答案 OpenDHT是
我在一本书中读到这一行:-“当我们要求 C++ 实现运行程序时,它会通过调用此函数来实现。” 而且我想知道“C++ 实现”是什么意思或具体是什么。帮忙!? 最佳答案 “C++ 实现”是指编译器加上链接
我正在尝试使用分支定界的 C++ 实现这个背包问题。此网站上有一个 Java 版本:Implementing branch and bound for knapsack 我试图让我的 C++ 版本打印
在很多情况下,我需要在 C# 中访问合适的哈希算法,从重写 GetHashCode 到对数据执行快速比较/查找。 我发现 FNV 哈希是一种非常简单/好/快速的哈希算法。但是,我从未见过 C# 实现的
目录 LRU缓存替换策略 核心思想 不适用场景 算法基本实现 算法优化
1. 绪论 在前面文章中提到 空间直角坐标系相互转换 ,测绘坐标转换时,一般涉及到的情况是:两个直角坐标系的小角度转换。这个就是我们经常在测绘数据处理中,WGS-84坐标系、54北京坐标系
在软件开发过程中,有时候我们需要定时地检查数据库中的数据,并在发现新增数据时触发一个动作。为了实现这个需求,我们在 .Net 7 下进行一次简单的演示. PeriodicTimer .
二分查找 二分查找算法,说白了就是在有序的数组里面给予一个存在数组里面的值key,然后将其先和数组中间的比较,如果key大于中间值,进行下一次mid后面的比较,直到找到相等的,就可以得到它的位置。
我是一名优秀的程序员,十分优秀!