haskell - 如何测量 Haskell 程序的顺序和并行运行时间

Question

我正在从此 question 测量 haskell 程序生成下表，其中包含运行时间和加速摘要，以便我可以绘制图表。

#Cores     Runtimes       Speedups
                     Absolute  Relative
Seq        ?         ..        ..
1          3.712     ..        ..
2          1.646     ..        ..

第一个问题

虽然 1 核和 2 核上的运行时间是通过使用 -threaded 标志(下面的 [3] 和 [4])编译程序来获取的，但我不确定该花费哪个时间连续的一个(下面的[1]或[2]):

• 应该是不带-threaded标志编译时获得的时间，还是
• 在标志打开的情况下获得，但未指定任何数量的核心，即没有 -Nx

不使用 -threaded 标志进行编译

        $ ghc --make -O2 test.hs
    [1] $ time ./test           ## number of core = 1
        102334155

        real    0m4.194s
        user    0m0.015s
        sys     0m0.046s

使用 -threaded 标志进行编译

        $ ghc --make -O2 test.hs -threaded -rtsopts
    [2] $ time ./test           ## number of core = not sure?
        102334155

        real    0m3.547s
        user    0m0.000s
        sys     0m0.078s

    [3] $ time ./test +RTS -N1  ## number of core = 1
        102334155

        real    0m3.712s
        user    0m0.016s
        sys     0m0.046s

    [4] $ time ./test +RTS -N2  ## number of core = 2
        102334155

        real    0m1.646s
        user    0m0.016s
        sys     0m0.046s

第二个问题

从上面可以看出，我使用 time 命令来测量运行时间。我正在花“真正”的时间。但是，如果我在打开 -sstderr 标志的情况下运行程序，我会获得更详细的信息:

    $ ghc --make -O2 test.hs -rtsopts
    $ ./test +RTS -sstderr 
    102334155
             862,804 bytes allocated in the heap
               2,432 bytes copied during GC
              26,204 bytes maximum residency (1 sample(s))
              19,716 bytes maximum slop
                   1 MB total memory in use (0 MB lost due to fragmentation)

      Generation 0:     1 collections,     0 parallel,  0.00s,  0.00s elapsed
      Generation 1:     1 collections,     0 parallel,  0.00s,  0.00s elapsed

      INIT  time    0.00s  (  0.00s elapsed)
      MUT   time    3.57s  (  3.62s elapsed)
      GC    time    0.00s  (  0.00s elapsed)
      EXIT  time    0.00s  (  0.00s elapsed)
      Total time    3.57s  (  3.62s elapsed)

      %GC time       0.0%  (0.0% elapsed)

      Alloc rate    241,517 bytes per MUT second

      Productivity 100.0% of total user, 98.6% of total elapsed

我相信 -sstderr 提供了更准确的时间，我应该使用它来代替 time 命令。我对么？另外，我应该使用哪个“总时间”(3.57 秒或 3.62 秒)？

最后，在进行这样的测量时，有什么一般建议/良好实践吗？我知道有一些软件包允许我们对程序进行基准测试，但我主要感兴趣的是手动进行测量(或使用脚本为我做这件事)。

另外:运行时间是程序运行 3 次的中位数。

Answer 1

我会在单核时间使用-N1。我相信这也限制了 GC 使用一个核心(我认为这似乎适合基准测试？)，但其他人可能知道更多。

关于你的第二个问题，Haskell 基准测试的答案几乎总是使用 criterion 。 Criterion 将允许您对程序的一次运行进行计时，然后您可以将其包装在一个脚本中，该脚本使用 -N1、-N2 等运行程序。 3 次运行的中位数作为一个非常快速且粗略的指标是可以的，但如果您想依赖结果，那么您将需要比这更多的运行次数。 Criterion 充分运行您的代码并执行适当的统计，为您提供合理的平均时间、置信区间和标准差(并且它会尝试纠正您的机器的繁忙程度)。我知道您询问过自己做这件事的最佳实践，但 Criterion 已经体现了很多内容:使用时钟时间，进行大量基准测试，并且正如您所意识到的那样，不要只对结果进行简单的平均。

如果您想对整个程序进行基准测试，则 Criterion 只需要对您的程序进行很少的更改。添加此:

import Criterion.Main

main :: IO ()
main = defaultMain [bench "My program" oldMain]

其中 oldMain 是您以前的主要函数。