performance - 如何衡量由许多子基准组成的基准的可变性？

Question

(严格来说不是编程，而是程序员需要回答的问题。)

我有一个基准， X ，由很多子基准组成 x1 .. xn .这是一个相当嘈杂的测试，结果非常多变。为了准确地进行基准测试，我必须减少那个“可变性”，这要求我首先测量 可变性。

我可以使用标准偏差或方差轻松计算每个子基准的可变性。但是，我想得到一个代表整体可变性的单个数字。

我自己对这个问题的尝试是:

sum = 0
foreach i in 1..n
   calculate mean across the 60 runs of x_i
   foreach j in 1..60
       sum += abs(mean[i] - x_i[j])
variability = sum / 60

Answer 1

最佳创意:ask at the statistics Stack Exchange once it hits public beta (一周以内)。

与此同时:您实际上可能对变异的极端情况更感兴趣，而不是集中趋势(均值等)。对于许多应用程序，我认为通过增加典型用户体验获得的 yield 相对较少，但通过改善最差的用户体验可以获得很多 yield 。尝试标准偏差的第 95 个百分位数并努力减少它。或者，如果您想要减少典型的变异性，则将标准偏差一起绘制。如果它们近似正态分布，我不知道你为什么不能取平均值。