c - 试图进行微基准测试的结果不一致

Question

This question is unlikely to help any future visitors; it is only relevant to a small geographic area, a specific moment in time, or an extraordinarily narrow situation that is not generally applicable to the worldwide audience of the internet. For help making this question more broadly applicable, visit the help center。
6年前关闭。
我一直在尝试使用一些Lua代码的微标号，但是遇到了一个非常烦人的问题：我似乎无法得到一致的结果。
示例：这里有一个死板的简单Lua程序，它应该为一个天真的Fibonacci函数计时：

function pfibs(n)
  if n ~= math.floor(n) then return 0
  elseif n < 0 then return pfibs(n + 2) - pfibs(n + 1)
  elseif n < 2 then return n
  else return pfibs(n - 1) + pfibs(n - 2)
  end
end
t = os.clock()
pfibs(30)
t = os.clock() - t
print("time: "..t)

当我尝试连续运行几次时，会发生以下情况：

$ lua fib.lua
time: 1.265
$ lua fib.lua
time: 1.281
$ lua fib.lua
time: 1.343
$ lua fib.lua
time: 1.437
$ lua fib.lua
time: 1.562
$ lua fib.lua
time: 1.578
$ lua fib.lua
time: 1.64
$ lua fib.lua
time: 1.703
$ lua fib.lua
time: 1.75
$ lua fib.lua
time: 1.797
$ lua fib.lua
time: 1.796
$ lua fib.lua
time: 1.812
$ lua fib.lua
time: 1.89

（这只是一个例子，为简洁而截取，但代表了我所看到的那种减速曲线）
从大约1.1秒开始的时间最终会超过2秒。我只是坐在这里反复按回车键。如果我将测试包装在一个调用 time而不是使用Lua时钟中，或者如果我让它循环几次以占用几秒钟的时间，就会发生同样的事情；它似乎会按比例减速。如果我离开一段时间，有时时光会倒流。有时不会（可能是因为我不知道该离开多久）。
这是在Windows+MSYS上。在Ubuntu（同一台机器）上尝试这个会导致一个不同的模式，但是仍然是非常不一致和不可用的结果（例如，一个测试需要2秒，然后3.5秒，然后4秒，然后2.5秒…）。在这两种情况下，Task Manager/top都表示后台没有占用CPU。CPU速度切换被禁用。
我做错什么了？我的机器是旧的，但它不可能是那么坏（我肯定会注意到它是不可用的，如果它是机器的故障，每一个程序都变得那么慢每一秒…）。
我想做的是：
我想做的是学习解释器的实现，从vanilla Lua开始，并对其进行调整，看看更改对解释器性能有什么影响。正如你所看到的，我还没有通过“建立一个控制”，所以我实际上还没有做任何一点——在基准方差高达上述水平的情况下，我所做的任何更改都将在噪音中完全消失。我选择Lua是因为虽然它是一个真实的程序，但它也很小，易于阅读和修改。如果有一个更好的基础解释器来完成这项工作，或者有一个确定的最佳方法来基准测试解释器的性能，请随时在答案中添加建议。
编辑：添加 C标记，因为在使用传统C计时工具的C程序中也会发生同样的事情，例如：

#include <time.h>
#include <stdio.h>

int fib(int n) {
    return n > 2 ? fib(n - 1) + fib(n - 2) : n;
}

int main(void) {
    clock_t t1, t2; const int ITNS = 30;
    for (int i = 0; i < ITNS; i ++) {
        t1 = clock();
        fib(38);
        t2 = clock();
        printf("time: %d\n", (int)((t2 - t1) / (CLOCKS_PER_SEC / 1000)));
    }
    return 0;
}

…打印以下内容：

time: 687
time: 688
time: 687
time: 688
time: 671
time: 688
time: 687
time: 688
time: 672
time: 687
time: 688
time: 687
time: 672
time: 688
time: 687
time: 688
time: 672
time: 796
time: 766
time: 719
time: 969
time: 1000
time: 1015
time: 1000
time: 1016
time: 1000
time: 1000
time: 1015
time: 1000
time: 1000

这表示效果不限于单独的运行。我想这意味着机器或操作系统有问题。

最佳答案

你的程序在我的Xeon E7-4850机器上看起来很稳定

time: 0.97
time: 0.98  
time: 1
time: 0.98
time: 1.01
time: 1
time: 0.98
time: 0.98
time: 1.02
time: 0.98

不过，我建议您在运行基准测试时检查是否启用了cpu频率缩放或turbo boost之类的功能。我们以前也遇到过类似的问题，但是当我们关闭cpu频率缩放功能时，基准变得稳定。在Linux上，可以使用cpufrequtils关闭它。
此外，如果您使用的是AMD机器，我建议您只需切换到英特尔一台，因为即使cpu频率是固定的，lua程序的性能仍然不稳定，我们的Opteron 8431。因此，这个问题可能依赖于硬件平台，而不是Lua解释器本身。
编辑：
我认为最好在每次迭代后读取并打印当前的cpu频率（从/proc/cpuinfo或/dev/cpu/#/msr），以确保频率稳定。
你的C程序结果有两个明显的稳定阶段。看起来在运行19和cpu频率降低之后发生了一些事情。

关于c - 试图进行微基准测试的结果不一致，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/16765657/

上一篇：c - 使用字符数组进行二进制搜索？

下一篇：c - 扫描文件时C中的无限循环

相关文章：

c - 使用头文件在参数列表中声明的 struct'

c - USB Linux API : call ioctl requests from user space app

c# - 可以在 Visual Studio C 中编译的文件大小是否有限制？

Windows(64 位)上的 Python 2.7.8(64 位)在 Ubuntu(64 位)上的速度是 2.7.8(64 位)的一半

css - 如何对 CSS3 动画的 FPS 进行基准测试？

testing - 运行 spark-perf 时获取 SparkUncaughtExceptionHandler

c - 使用定时器延迟

android - 通过 luajava 获取 Android 系统设置

lua - Prosody muc 聊天记录不完整

android - 下载并检查未为 luac 定义的目标

Answer 1

你的程序在我的Xeon E7-4850机器上看起来很稳定

time: 0.97
time: 0.98  
time: 1
time: 0.98
time: 1.01
time: 1
time: 0.98
time: 0.98
time: 1.02
time: 0.98

不过，我建议您在运行基准测试时检查是否启用了cpu频率缩放或turbo boost之类的功能。我们以前也遇到过类似的问题，但是当我们关闭cpu频率缩放功能时，基准变得稳定。在Linux上，可以使用cpufrequtils关闭它。
此外，如果您使用的是AMD机器，我建议您只需切换到英特尔一台，因为即使cpu频率是固定的，lua程序的性能仍然不稳定，我们的Opteron 8431。因此，这个问题可能依赖于硬件平台，而不是Lua解释器本身。
编辑：
我认为最好在每次迭代后读取并打印当前的cpu频率（从/proc/cpuinfo或/dev/cpu/#/msr），以确保频率稳定。
你的C程序结果有两个明显的稳定阶段。看起来在运行19和cpu频率降低之后发生了一些事情。