pytorch - 对象检测模型 (PyTorch) 到 ONNX :empty output by ONNX inference

Question

我尝试将我的 PyTorch 对象检测模型 (Faster R-CNN) 转换为 ONNX。我有两个设置。第一个工作正常，但出于部署原因我想使用第二个。区别在于我用于导出函数 torch.onnx.export() 的示例图像。

在第一个设置中，我使用真实图像作为 ONNX 导出的输入。但是在官方tutorial他们说我可以使用虚拟输入，它的大小应该与模型期望的输入相同。所以我创建了一个具有相同形状但具有随机值的张量。两种设置中的导出工作正常。但是在使用 ONNX 运行时进行推理后，第二个设置没有提供预期的结果。代码和示例输出可以在下面找到。

设置 1

model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained = True)
...
checkpoint = torch.load(model_state_dict_path)
model.load_state_dict(checkpoint['model_state_dict'])
model.eval()

to_tensor = transforms.ToTensor()
img_rgb = Image.open(image_path_model).convert('RGB')
img_rgb = to_tensor(img_rgb)
img_rgb.unsqueeze_(0)    

torch.onnx.export(model, img_rgb, "detection.onnx", opset_version=11) 

我没有收到任何错误，导出工作正常。之后，我使用 ONNX 运行时运行模型并获得以下输出:

[array([[704.0696  , 535.19556 , 944.8986  , 786.1619  ],
         ...], dtype=float32),
array([2, 2, 2, 2, 2, 1, 1], dtype=int64),
array([0.9994363 , 0.9984769 , 0.99816966, ...], dtype=float32)]

输出如我所料(边界框、对象类和概率)。

设置 2

model = torchvision.models.detection.fasterrcnn_resnet50_fpn(pretrained = True)
...
checkpoint = torch.load(model_state_dict_path)
model.load_state_dict(checkpoint['model_state_dict'])
model.eval()

img_rgb = torch.randn(1, 3, 1024, 1024)   

torch.onnx.export(model, img_rgb, "detection.onnx", opset_version=11) 

就像在设置 1 中一样，我没有收到任何错误并且导出工作正常。之后，我使用 ONNX 运行时和与设置 1 中相同的图像运行模型，我得到以下输出:

[array([], shape=(0, 4), dtype=float32),
array([], dtype=int64),
array([], dtype=float32)]

它只是一个空数组。

第二个设置有什么问题？我是 ONNX 的新手。导出运行模型。我是否必须提供模型也可以识别对象的输入，因此具有随机值的虚拟输入不起作用？ “只要类型和大小正确，其中的值可以是随机的。”这句话是否仅对提供的​​教程有效？

Answer 1

在第二个设置中，您有一个随机张量，因此没有选择具有足够高检测分数的边界框。检查您的输入是否有包含可检测对象的图像。

我假设关于随机输入的短语在大多数情况下(分类、分割等)是正确的，但检测模型正在使用 NonMaxSuppression 并抑制低分检测。