onnxruntime - 如何在 ONNX Runtime 中实现多线程？

Question

使用 ONNX Runtime 在深度学习模型上运行推理。假设我有 4 个不同的模型，每个模型都有自己的输入图像，我可以在 4 个线程中并行运行它们吗？会不会有一个“环境”，然后是 4 个 session (使用相同的环境)？

Answer 1

是的 - 一个环境和 4 个单独的 session 就是你要做的。

权重和偏差的“只读状态”特定于模型。

session 与模型具有 1:1 的关系，并且这些类型的事情不会跨 session 共享，因为每个模型只需要一个 session ，因为您可以使用不同的输入大小同时调用 Run(假设模型支持动态批处理/输入尺寸)。

关于线程，默认是每个 session 线程池，但也可以跨 session 共享全局线程池。

您如何做到这一点因所使用的 API 而异:

对于 C API 使用 CreateEnvWithGlobalThreadPools .

对于 C++ API 提供 OrtThreadingOptions构建时Ort::Env .