java - Deeplearning4j 在 Scala 中的线程间共享计算图

Question

我正在尝试进行图像分类。我正在使用 Scala、Akka actor 系统和 deeplearning4j。问题是我必须始终在图像上的相同点或裁剪上进行检测。我正在考虑在每一帧上为每一幅图像创建一个新 Actor 。问题是，据我所知，为每个 Actor 创建实例化一个新模型是不可行的，但是拥有一个模型实例并传递给每个 Actor 也不可行。我应该有一个实例池吗？我有点被这个问题困住了，因为这是我第一次尝试 deeplearning4j。以前，我会使用 python REST api，但我认为此解决方案的性能应该更好。

提前谢谢你。

Answer 1

在未来，需要注意的是:您可以开箱即用地使用并行推理进行多线程服务。 https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/inference/ParallelInferenceExample.java

上述答案的一个问题是，它没有考虑到模型在进行激活时具有内部状态。ParallelInference 还允许批处理和顺序推理。例如，当您使用 gpus 时，这很重要。我们在这里也允许多线程推理。