benchmarking - 如何根据caffe中的平均前向传递时间估计推理时间？

Question

我使用此命令在 caffe 中对我的 ConvNet 进行基准测试:

./build/tools/caffe time -model models/own_xx/deploy.prototxt -weights examples/RSR_50k_all_1k_db/snapshot_iter_10000.caffemodel -gpu=0

它运行良好并生成以以下结尾的输出:

I0426 16:08:19.345427 15441 caffe.cpp:377] Average Forward pass: 13.5549 ms.
I0426 16:08:19.345484 15441 caffe.cpp:379] Average Backward pass: 10.7661 ms.
I0426 16:08:19.345527 15441 caffe.cpp:381] Average Forward-Backward: 25.2922 ms.
I0426 16:08:19.345579 15441 caffe.cpp:383] Total Time: 1264.61 ms.
I0426 16:08:19.345628 15441 caffe.cpp:384] *** Benchmark ends ***

在一些教程中，我看到有人以某种方式简单地从平均前传中推断出分类时间。但是，我找不到任何解释如何执行此操作的公式或 Material 。这两个实体之间真的有某种联系吗？还有哪些其他因素，例如涉及迭代次数和批量大小？我的目标是在 GPU 上准确预测我的 ConvNet 的分类时间。

更新:为了不显得完全无知，我将在这里补充一点，我有一个基本的想法，即前向传递是输入生成相对输出所花费的时间，因此它也可以称为推理时间。但是，我感兴趣的是无论批量大小和迭代如何，都知道这是否属实？我尝试过，但在基准测试期间，caffe 不提供任何“批处理”选项。

Answer 1

平均正向传递时间是将一批输入从输入(“数据”)层传播到输出层所花费的时间。 models/own_xx/deploy.prototxt 文件中指定的批量大小将决定每批处理的图像数量。

例如，如果我运行 Caffe 附带的默认命令:

build/tools/caffe time --model=models/bvlc_alexnet/deploy.prototxt --gpu=0

我得到以下输出

...
I0426 13:07:32.701490 30417 layer_factory.hpp:77] Creating layer data
I0426 13:07:32.701513 30417 net.cpp:91] Creating Layer data
I0426 13:07:32.701529 30417 net.cpp:399] data -> data
I0426 13:07:32.709048 30417 net.cpp:141] Setting up data
I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)
I0426 13:07:32.709084 30417 net.cpp:156] Memory required for data: 6183480
...
I0426 13:07:34.390281 30417 caffe.cpp:377] Average Forward pass: 16.7818 ms.
I0426 13:07:34.390290 30417 caffe.cpp:379] Average Backward pass: 12.923 ms.
I0426 13:07:34.390296 30417 caffe.cpp:381] Average Forward-Backward: 29.7969 ms.

下面一行:

I0426 13:07:32.709079 30417 net.cpp:148] Top shape: 10 3 227 227 (1545870)

非常重要。它说你的输入层是 10x3x227x227 维的。在这种情况下，批量大小为 10 张图像，每张图像的大小为 3x227x227(3 指的是图像中的每个 rgb channel )。

如此有效，每张图像需要 1.67818 毫秒来执行正向传递或推理时间。

更改批量大小

如果您想更改批量大小，请查看您的 .prototxt 文件。这Caffe 附带的 models/bvlc_alexnet/deploy.prototxt 文件如下所示:

name: "AlexNet"
layer {
  name: "data"
  type: "Input"
  top: "data"
  input_param { shape: { dim: 10 dim: 3 dim: 227 dim: 227 } }
}
layer { ...

只需将 dim: 10 更改为其他值(比如“100”以指定每次正向传递 100 张图像的批量大小)。