performance - 虚拟机内基准测试的可信度？

Question

与真实硬件相比，在虚拟机中执行的基准测试可信度如何？

让我们来剖析一个具体的情况。假设我们想要对最近代码更改的性能影响进行基准测试。为简单起见，假设工作负载完全受 CPU 限制(尽管 IO 限制和混合工作负载也很有趣)。假设机器在 VirtualBox 下运行，因为它是最好的 ;)

假设我们测量了原始代码和新代码，新代码的速度提高了 5%(在虚拟机中进行基准测试时)。我们可以肯定地说它在真实硬件上也会至少快 5% 吗？

更重要的是，假设新代码慢了 3%。我们能否完全确定在真实硬件上它会慢 3% 或更少，但绝对不会差 3%？

更新:我最感兴趣的是你的战场战绩。 IE。你能见证这样一个案例:在 VM 中速度慢 10% 的代码在真机上执行速度快 5%，反之亦然吗？或者它是否始终一致(即，如果它在 VM 中更快/更慢，它在真实机器上总是成比例地更快/更慢)？到目前为止，我的或多或少是一致的；至少，始终朝着同一个方向前进。

Answer 1

如果您将 VM 上的结果与未在 VM 上运行的结果进行比较，那么不，结果是不可信的。

另一方面，如果两个测试都在相同的环境中运行，那么它们是的，结果是可信的。这两个测试在 VM 中都会变慢，但差异应该仍然是可信的。