python - 出于性能目的对 Tensorflow 中的一批图像进行推理的正确方法是什么

Question

我想要完成的是在 Tensorflow 中一次使用一批图像而不是单个图像进行推理。我想知道处理多个图像以加速推理的最合适方法是什么？

对单个图像进行推理很容易完成，并且在大多数教程中都有使用，但我还没有看到以类似批处理的方式进行推理。

这是我目前在高层次上使用的内容:

pl = tf.placeholder(tf.float32)
...
sess.run([boxes, confs], feed_dict={pl: image})

如有任何意见，我将不胜感激。

Answer 1

根据您的模型设计方式，您可以只将一组图像提供给 pl。然后，输出的第一个维度对应于批处理中图像的索引。

许多张量操作都有一个批处理中多个示例的实现。不过也有一些异常(exception)，例如 tf.image.decode_jpeg .在这种情况下，您将不得不使用 tf.map_fn 重写您的网络。 ，例如。