C++ TensorRT 批量推理给出奇怪的结果

Question

大家好!

我在 TensorRT 中执行批量推理时遇到问题。当批量大小为 1 时，它就像一个魅力，但当我将它更改为任何其他数字时，它会给出普通的垃圾。

一步一步，我下载了 TensorRT (5.0) 并将其安装在我的带有 GTX755M 的 Ubuntu 18.04 笔记本电脑上。然后我构建了与之配套的样本，并在 sampleMNIST 样本上对其进行了测试，它的效果非常好。然后我继续将每次出现的 mParams.batchSize 更改为 10。当然，我还更改了分配内存的大小并修改了结果打印。但是在我重新编译示例之后，我得到了完全奇怪的结果——对于每个给定的输入，输出显示 80% 7 20% 1:

grim@shigoto:~/tensorrt/bin$ ./sample_mnist
Building and running a GPU inference engine for MNIST

Input:

@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@.*@@@@@@@@@@
@@@@@@@@@@@@@@@@.=@@@@@@@@@@
@@@@@@@@@@@@+@@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@% #@@.=@@@@@@@@@@
@@@@@@@@@@@+ *@@:-@@@@@@@@@@
@@@@@@@@@@@= *@@= @@@@@@@@@@
@@@@@@@@@@@. #@@= @@@@@@@@@@
@@@@@@@@@@=  =++.-@@@@@@@@@@
@@@@@@@@@@       =@@@@@@@@@@
@@@@@@@@@@  :*## =@@@@@@@@@@
@@@@@@@@@@:*@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@% =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@# =@@@@@@@@@@
@@@@@@@@@@@@@@@* *@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@= #@@@@@@@@@@
@@@@@@@@@@@@@@@=.@@@@@@@@@@@
@@@@@@@@@@@@@@@++@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Output:

0: 
1: ********
2: 
3: 
4: 
5: 
6: 
7: **
8: 
9: 

此输出重复 10 次。我在不同的网络上尝试过这个，但结果相似，大多数网络给出 1 次正确的输出，而其他 9 次是普通的垃圾。可以找到完整的样本here .我试过谷歌搜索文档，但我不明白我做错了什么。您能告诉我我做错了什么或如何在 TensorRT 中执行批量推理吗？

Answer 1

你是否也修改了mnist.prototxt？

特别是这部分:

input: "data"
input_shape {
  dim: 1
  dim: 1
  dim: 28
  dim: 28
}

我认为应该是:

input: "data"
input_shape {
  dim: 10
  dim: 1
  dim: 28
  dim: 28
}