deep-learning - 如何在pytorch训练中优化cudaHostAlloc和cudaLaunchKernel时间

Question

我正在尝试使用 pytorch profiler 分析我的模型。我使用下面的代码来分析

with profile(activities=[ProfilerActivity.CPU, ProfilerActivity.CUDA], record_shapes=True) as prof:
    with record_function("model_inference"):
        output_batch = self.model(input_batch)
print(prof.key_averages().table(sort_by="cpu_time_total", row_limit=10))

探查器输出如下

-------------------------------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                                                   Name    Self CPU %      Self CPU   CPU total %     CPU total  CPU time avg     Self CUDA   Self CUDA %    CUDA total  CUDA time avg    # of Calls  
-------------------------------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
                                        model_inference         3.17%      83.011ms        63.97%        1.675s        1.675s       0.000us         0.00%     373.844ms     373.844ms             1  
                                            aten::copy_         0.24%       6.333ms        39.93%        1.046s       1.504ms      28.758ms         7.69%      29.035ms      41.777us           695  
                                          cudaHostAlloc        36.02%     943.053ms        36.02%     943.053ms      30.421ms       0.000us         0.00%       0.000us       0.000us            31  
                                       cudaLaunchKernel        35.93%     940.773ms        35.93%     940.773ms      86.619us       0.000us         0.00%       0.000us       0.000us         10861  
                                           aten::repeat         0.04%     979.000us        33.77%     884.170ms      30.489ms       0.000us         0.00%     204.000us       7.034us            29  
                                           aten::conv2d         0.06%       1.481ms         8.71%     228.183ms     695.680us       0.000us         0.00%     145.688ms     444.171us           328  
                                      aten::convolution         0.05%       1.391ms         8.66%     226.702ms     691.165us       0.000us         0.00%     145.688ms     444.171us           328  
                                     aten::_convolution         0.10%       2.742ms         8.61%     225.311ms     686.924us       0.000us         0.00%     145.688ms     444.171us           328  
                                aten::cudnn_convolution         0.53%      13.803ms         8.33%     218.051ms     664.790us     137.822ms        36.87%     137.822ms     420.189us           328  
                                               cudaFree         7.46%     195.373ms         7.46%     195.373ms      48.843ms       0.000us         0.00%       0.000us       0.000us             4  
-------------------------------------------------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  ------------  
Self CPU time total: 2.618s
Self CUDA time total: 373.844ms

我注意到大部分时间(自 CPU)被 cudaHostAlloc 占用了。和 cudaLaunchKernel .这些是什么 cudaHostAlloc和 cudaLaunchKernel ?可以减少这个时间吗？如果是如何？是否有任何我遗漏的标准操作会导致如此高的时间消耗？
PS:我是这样分析的新手。如果需要任何其他信息，请告诉我。

Answer 1

我不是专家，但我认为每次使用 cuda 完成的操作都会调用 cudaLaunchKernel。所以我认为你不能优化它。
如果您绘制详细的跟踪 https://pytorch.org/tutorials/recipes/recipes/profiler_recipe.html#using-tracing-functionality ，您会看到每次对线性层执行像此处这样的 cuda 操作时都会调用它。

关于分析器输出的一个注释:aten::copy_ cudaHostAlloc cudaLaunchKernel和 aten::repeat全部占用大约 40% 的 CPU 总时间。我觉得可能和ProfilerActivity.CUDA有关记录 CUDA 操作但它也添加了 很多分析的第一个 CUDA 操作的 CPU 时间。就我而言，一个简单的 torch.ones(1000, device="cuda")花了整整一秒的 CPU 时间，因为这是第一个 cuda 操作。
这可能是您的问题，请尝试删除 ProfilerActivity.CUDA也许 aten::copy_ cudaHostAlloc cudaLaunchKernel和 aten::repeat将具有更短的 CPU 时间并将从表中消失。