- c - 在位数组中找到第一个零
- linux - Unix 显示有关匹配两种模式之一的文件的信息
- 正则表达式替换多个文件
- linux - 隐藏来自 xtrace 的命令
我有相当多的 n=10000 个排序列表,每个列表的长度为 k=100。由于合并两个排序列表需要线性时间,我认为在深度为 log(n) 的树中递归合并长度为 O(nk) 的排序列表与 heapq.merge()
比在 O(nklog(nk)) 时间内使用 sorted()
一次对整个事物进行排序。
但是,sorted()
方法在我的机器上似乎快了 17-44 倍。 sorted()
的实现是否比 heapq.merge()
快得多,是否超过了经典合并的渐近时间优势?
import itertools
import heapq
data = [range(n*8000,n*8000+10000,100) for n in range(10000)]
# Approach 1
for val in heapq.merge(*data):
test = val
# Approach 2
for val in sorted(itertools.chain(*data)):
test = val
最佳答案
CPython 的 list.sort()
使用自适应合并排序,识别输入中的自然运行,然后“智能地”合并它们。它在利用多种预先存在的订单方面非常有效。例如,尝试排序 range(N)*2
(在 Python 2 中)用于增加 N
的值,你会发现所需的时间在 N
中呈线性增长。 .
所以heapq.merge()
的唯一真正优势在此应用程序中使用较低的峰值内存如果您迭代结果(而不是具体化包含所有结果的有序列表)。
事实上,list.sort()
与 heapq.merge()
相比,更多 利用您特定数据中的结构方法。我对此有一些了解,因为我写了 Python 的 list.sort()
;-)
(顺便说一句,我看到你已经接受了一个答案,我觉得这很好 - 这是一个很好的答案。我只是想提供更多信息。)
正如评论中讨论的那样,list.sort()
玩很多工程技巧,可能减少对 heapq.merge()
所需的比较次数需要。这取决于数据。以下是您问题中特定数据所发生情况的快速说明。首先定义一个计算比较次数的类(注意我使用的是 Python 3,所以必须考虑所有可能的比较):
class V(object):
def __init__(self, val):
self.val = val
def __lt__(a, b):
global ncmp
ncmp += 1
return a.val < b.val
def __eq__(a, b):
global ncmp
ncmp += 1
return a.val == b.val
def __le__(a, b):
raise ValueError("unexpected comparison")
__ne__ = __gt__ = __ge__ = __le__
sort()
故意写成只使用 <
(__lt__
)。 heapq
更像是一场意外(而且,我记得,甚至在不同的 Python 版本中也有所不同),但结果是 .merge()
只需要 <
和 ==
.因此,这些是该类以有用的方式定义的唯一比较。
然后更改您的数据以使用该类的实例:
data = [[V(i) for i in range(n*8000,n*8000+10000,100)]
for n in range(10000)]
然后运行两种方法:
ncmp = 0
for val in heapq.merge(*data):
test = val
print(format(ncmp, ","))
ncmp = 0
for val in sorted(itertools.chain(*data)):
test = val
print(format(ncmp, ","))
输出有点显着:
43,207,638
1,639,884
所以 sorted()
需要的比较远比merge()
少,对于这个特定的数据。这就是它速度更快的主要原因。
那些比较计数对我来说看起来太了不起;-) heapq.merge()
的计数看起来是我认为合理的两倍大。
花了一些时间来追踪这个。总之就是道神器heapq.merge()
已实现:它维护一个由 3 元素列表对象组成的堆,每个对象包含来自可迭代对象的当前下一个值、该可迭代对象在所有可迭代对象中的基于 0 的索引(以打破比较关系),以及该可迭代对象的 __next__
。方法。 heapq
函数都比较这些小列表(而不是 只是 iterables 的值),并且列表比较总是通过列表首先查找不是 ==
的第一个对应项。 .
因此,例如,询问是否 [0] < [1]
首先询问是否0 == 1
.不是,所以然后它继续询问是否 0 < 1
.
因此,每个 <
在执行 heapq.merge()
期间完成的比较实际上做了两个对象比较(一个 ==
,另一个 <
)。 ==
比较是“浪费”的工作,从某种意义上说,它们在逻辑上不是解决问题所必需的——它们只是列表比较内部使用的“优化”(在这种情况下恰好不值得!)。
所以从某种意义上说,削减heapq.merge()
的报告会更公平比较一半。但它仍然远远超过 sorted()
需要,所以我现在就放下它 ;-)
关于Python heapq 与预排序列表的排序速度,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38340588/
我在想出一个算法时遇到了麻烦... 我有一系列 GPS 数据,以 1 秒为间隔记录时间、速度、距离。假设距离是米,速度是米/秒。可能有超过 2 小时的数据,或 7200 个点。这里的“时间”字段主要是
使用java排序器,即: Collections.sort(myArrayList, new Comparator() { @Override public int c
有什么区别吗 SELECT * FROM my_table 和 SELECT my_column_id FROM my_table 地点: my_table 有百万行 网站上有大量并发用户进行sql查
有2个样本。 在第一个示例中,使用 orderby 可以更快地获得结果。 (根据 phpmyadmin 速度报告) 在另一个例子中,我没有使用 order by,它给出的结果较慢。 (根据 phpmy
我注意到,如果我将训练数据加载到内存中并将其作为 numpy 数组提供到图中,与使用相同大小的 shuffle 批次相比,速度会有很大差异,我的数据有大约 1000 个实例。 使用内存 1000 次迭
我在 python 中使用破折号。我正在绘制记录到 SQLite 数据库中的实时数据,目前,我正在绘制单个值与时间线图。我计划再添加 20 个图表,但目前,随着时间的增加, plotly 变慢,我认为
我试图调用 hasNext Velocity 模板中的方法,以便根据 foreach 循环中的位置影响行为 - 仅 hasNext没有按照文档工作。 这是 Velocity 用户指南的片段,关于 ha
在我正在制作的游戏中,我有两个点,pt1 和 pt2,我想计算出它们之间的角度。我已经在较早的计算中计算出距离。显而易见的方法是对垂直距离上的水平距离进行反正切 (tan(theta) = opp/a
我经常遇到字符串值不存在和/或为空的情况。这是测试这种情况的最佳方法吗? #if( $incentive.disclaimer && $!incentive.disclaimer != '' )
我想将一个模板nested包含在其他模板cont1,cont2和cont3中。 并且嵌套模板应仅对cont1隐藏一个特定控件。 在包含在cont1中之前,我想为一些标志变量$hideMyControl
是否可以更改从“Windows Azure Media Encoder”输出的音频的播放速度? 我正在使用配置为“WMA High Quality Audio”的“Windows Azure Medi
我使用速度将String(template)与字段合并 hi there I'am ${name}, And I'am ${age} old. velocity将字段${name}和${age}与一种
我使用的是 LockedBitmap 类,它简化了 C# 中位图数据的处理。目前它正在将数据复制到本地 byte[] 数组中,然后通过其类方法访问该数组以获取/设置像素颜色值。 这比直接通过指针访问锁
我尝试在 VM_global_library.vm 文件中添加一堆 #set($x=abc) 语句,但这些变量在我的 VM 模板中不可用。 我想为图像的基本路径等设置一个全局变量。这可能吗? 最佳答案
我的项目结构: -src --main ---java ----makers -----SomeClass ---resources ----htmlPattern.vm 如何告诉 SomeClass
我正在尝试从 Velocity 中的字符串中删除不需要的字符(换行符可以,但不能像 EM 和 CAN ASCII 控制字符那样)。 #set($cleanScreen = $cleanScreen.r
我想在日.月.年之间的点处分割日期。例如:2015 年 1 月 14 日至 {14, 01, 2015}这是我使用的代码:dates3.get(0) 包含我从页面的文本字段获取的字符串“14.01.2
之后,从 1.5 升级到速度引擎 1.7 出现了 1.5 没有的问题。为了解释这个问题,我必须展示一个代码片段: #foreach($someVariable in $someCollection)
我想知道从表中选择所有字段是否更快: SELECT * 或只选择您真正需要的: SELECT field1, field2, field3, field4, field5... 假设表有大约 10 个
我正在尝试模仿照片应用程序的行为,在该应用程序中,用户用手指平移照片并且照片具有一定的速度。由于我不会深入的原因,我不能将 UIScrollView 与它的缩放 UIImageView 一起使用,而是
我是一名优秀的程序员,十分优秀!