python - timeit 如何受列表文字长度的影响？

Question

更新:显然我只是在计时 Python 读取列表的速度。但这并没有真正改变我的问题。

所以，我前几天读了 this post 并想比较一下速度。我对 Pandas 还不熟悉，所以每当我看到有机会做一些比较有趣的事情时，我都会捕获它。不管怎样，我最初只是用 100 个数字进行了测试，认为这足以满足我玩 Pandas 的渴望。但这就是该图的样子:

请注意，有 3 次不同的运行。这些运行按顺序运行，但它们都在相同的两个点处出现峰值。这些点大约是 28 和 64。所以我最初的想法是它与字节有关，特别是 4。也许第一个字节包含有关它是一个列表的附加信息，然后下一个字节是所有数据，之后每 4 个字节这会导致速度飙升，这有点是有道理的。所以我需要用更多的数字来测试它。因此，我创建了一个由 3 组数组组成的 DataFrame，每组数组有 1000 个长度范围为 0-999 的列表。然后我以相同的方式对它们进行计时，即:

Run 1: 0, 1, 2, 3, ...
Run 2: 0, 1, 2, 3, ...
Run 3: 0, 1, 2, 3, ...

我预期看到的是数组中大约每 32 个项目就会急剧增加，但该模式没有重复出现(我确实放大并寻找峰值):

但是，您会注意到，数字 400 和 682 之间的差异很大。奇怪的是，1 次运行始终在同一位置出现尖峰，使得该图中的 28 点和 64 点中的模式更难区分。绿线确实遍布各处。可耻。

问题:最初的两个峰值发生了什么以及为什么它在图表上在 400 到 682 之间变得“模糊”？我刚刚完成了对 0-99 组的测试，但这次对数组中的每个项目做了简单的加法，结果完全是线性的，所以我认为它与字符串有关。

我先用其他方法进行了测试，得到了相同的结果，但是由于我错误地加入了结果，所以图表困惑了，所以我使用这段代码再次运行了一夜(这花了很长时间)以确保时间与其索引正确对齐，并且运行按正确的顺序执行:

import statistics as s
import timeit
df = pd.DataFrame([[('run_%s' % str(x + 1)), r, np.random.choice(100, r).tolist()] 
                   for r in range(0, 1000) for x in range(3)], 
                  columns=['run', 'length', 'array']).sort_values(['run', 'length'])
df['time'] = df.array.apply(lambda x: s.mean(timeit.repeat(str(x))))

# Graph
ax = df.groupby(['run', 'length']).mean().unstack('run').plot(y='time')
ax.set_ylabel('Time [ns]')
ax.set_xlabel('Array Length')
ax.legend(loc=3)

如果您想查看原始数据，我还对数据框进行了腌制。

Answer 1

您在这里使用 pandas 和 .apply 使事情严重复杂化。没有必要——这只是效率低下。只需使用普通的 Python 方式即可:

In [3]: import timeit

In [4]: setup = "l = list(range({}))"

In [5]: test = "str(l)"

请注意，timeit 函数采用一个number 参数，它是所有内容运行的次数。它默认为 1000000，因此让我们使用 number=100 使其更合理，这样我们就不必永远等待...

In [8]: data = [timeit.repeat(test, setup.format(n), number=100) for n in range(0, 10001, 100)]

In [9]: import statistics

In [10]: mean_data = list(map(statistics.mean, data))

目视检查结果:

In [11]: mean_data
Out[11]:
[3.977467228348056e-05,
 0.0012597616684312622,
 0.002014552320664128,
 0.002637979011827459,
 0.0034494600258767605,
 0.0046060653403401375,
 0.006786816345993429,
 0.006134035007562488,
 0.006666974319765965,
 0.0073876206879504025,
 0.008359026357841989,
 0.008946725012113651,
 0.01020014965130637,
 0.0110439983351777,
 0.012085124345806738,
 0.013095536657298604,
 0.013812023680657148,
 0.014505649354153624,
 0.015109792332320163,
 0.01541508767210568,
 0.018623976677190512,
 0.018014412683745224,
 0.01837641668195526,
 0.01806374565542986,
 0.01866597666715582,
 0.021138361655175686,
 0.020885809014240902,
 0.023644315680333722,
 0.022424093661053728,
 0.024507874331902713,
 0.026360396664434422,
 0.02618172235088423,
 0.02721496132047226,
 0.026609957004742075,
 0.027632603014353663,
 0.029077719994044553,
 0.030218352350251127,
 0.03213361800105,
 0.0321545610204339,
 0.032791375007946044,
 0.033749551337677985,
 0.03418213398739075,
 0.03482868466138219,
 0.03569800598779693,
 0.035460735321976244,
 0.03980560234049335,
 0.0375820419867523,
 0.03880414469555641,
 0.03926491799453894,
 0.04079093333954612,
 0.0420664346893318,
 0.044861480011604726,
 0.045125720323994756,
 0.04562378901755437,
 0.04398221097653732,
 0.04668888701902082,
 0.04841196699999273,
 0.047662509993339576,
 0.047592316346708685,
 0.05009777001881351,
 0.04870589632385721,
 0.0532167866670837,
 0.05079756366709868,
 0.05264475334358091,
 0.05531930166762322,
 0.05283398299555605,
 0.055121281009633094,
 0.056162080339466534,
 0.05814277834724635,
 0.05694748067374652,
 0.05985202432687705,
 0.05949359833418081,
 0.05837553597909088,
 0.05975819365509475,
 0.06247356999665499,
 0.061310798317814864,
 0.06292542165222888,
 0.06698586166991542,
 0.06634997764679913,
 0.06443380867131054,
 0.06923895300133154,
 0.06685209332499653,
 0.06864909763680771,
 0.06959929631557316,
 0.06832000267847131,
 0.07180017333788176,
 0.07092387134131665,
 0.07280202202188472,
 0.07342300032420705,
 0.0745120863430202,
 0.07483605532130848,
 0.0734497313387692,
 0.0763389469939284,
 0.07811927401538317,
 0.07915793966579561,
 0.08072184936221068,
 0.08046915601395692,
 0.08565403800457716,
 0.08061318534115951,
 0.08411134833780427,
 0.0865995019945937]

这对我来说看起来非常线性。现在，pandas 是一种方便的图形化方式，特别是如果您想要一个方便的围绕 matplotlib 的 API 的包装器:

In [14]: import pandas as pd

In [15]: df = pd.DataFrame({'time': mean_data, 'n':list(range(0, 10001, 100))})

In [16]: df.plot(x='n', y='time')
Out[16]: <matplotlib.axes._subplots.AxesSubplot at 0x1102a4a58>

结果如下:

这应该会让您走上正确的轨道，真正为您一直在尝试计时的事情计时。正如我在评论中解释的那样，您结束了时间:

You are timing the result of str(x) which results in some list-literal, so you are timing the interpretation of list literals, not the conversion of list->str

我只能推测您所看到的结果，但这可能取决于解释器/硬件。以下是我在我的机器上的发现:

In [18]: data = [timeit.repeat("{}".format(str(list(range(n)))), number=100) for n in range(0, 10001, 100)]

并使用不太大的范围:

In [23]: data = [timeit.repeat("{}".format(str(list(range(n)))), number=10000) for n in range(0, 101)]

结果:

我猜有点看起来像你的。不过，也许这更适合它自己的问题。