performance - 为什么我的 CUDA 内核执行时间会随着连续启动而增加？

Question

我正在使用 CUDA 对应用程序进行原型(prototype)设计。我一直在针对 CPU 对其进行基准测试，并注意到一些可变的运行时间。我决定从命令行循环运行我的应用程序，以便收集更好的统计数据。我运行了该应用程序 50 次并记录了结果。我很惊讶地看到经过的内核时间随着启动次数的增加而增加。



这是一个片段，因此您可以看到正在计时的代码部分:

int nblocks = (int)ceil((float)n / (float)NUM_THREADS);

gpuErrchk(cudaEventRecord(start, 0));
gpuperfkernel << <nblocks, NUM_THREADS >> >(dmetadata, ddatax, ddatay);
gpuErrchk(cudaPeekAtLastError());
gpuErrchk(cudaDeviceSynchronize());
gpuErrchk(cudaEventRecord(stop, 0));
gpuErrchk(cudaEventSynchronize(stop));

gpuErrchk(cudaEventElapsedTime(&milliseconds, start, stop));
printf("GPU kernel took %f milliseconds.\n", milliseconds);
gpuelapsed += milliseconds;

我与 CUDA 合作过很多次，但我以前从未见过这种行为。想知道是否有人注意到这一点？我的平台是 Windows 10、CUDA 7.5、微星笔记本、GeForce 970m。

由于我在笔记本电脑上，我认为这可能是与电源相关的设置或类似的设置，但我将所有内容都设置为高性能并禁用了屏幕保护程序。

Answer 1

GeForce 970m 具有加速时钟。一次又一次地运行，你的 GPU 的温度会升高，而且当温度升高时，提升很可能不太可能达到最高水平。
您可以使用 nvidia-smi 监控 GPU 温度.还有一个监控API。您的升压设置也应该可以在 nvidia-smi 中进行配置。在某种程度上，您是否应该验证这一点。
通过 nvidia-smi 禁用自动加速使用这个命令:

sudo nvidia-smi --auto-boost-default=DISABLED