python - Onnx模型的量化

Question

我正在尝试使用 onnxruntime quantization tool 量化 ONNX 模型.

我的量化代码如下:

import onnx
from quantize import quantize, QuantizationMode

# Load the onnx model     
model = onnx.load('3ddfa_optimized_withoutflatten.onnx')

# Quantize
quantized_model = quantize(model, quantization_mode=QuantizationMode.IntegerOps)
 
# Save the quantized model
onnx.save(quantized_model, 'quantized_model.onnx')

采用这种方法后，我得到的模型具有 0 维模型。我必须在量化函数中传递哪些参数才能获得合适的模型？

Answer 1

除非你共享 onnx 模型，否则很难说出原因。

对于 OnnxRuntime 1.4.0，您可以尝试以下操作:

    quantized_model = quantize(onnx_opt_model,
                               quantization_mode=QuantizationMode.IntegerOps,
                               symmetric_weight=True,
                               force_fusions=True)

如果问题仍然存在，请分享您的onnx模型，以便我们查看。