python - 与 Python 相比，Tensorflow C++ API 速度较慢

Question

我是 Tensorflow 爱好者，我正在尝试导出一个模型(用 Python 开发，然后使用 Tensorflow 工具卡住和优化)以供在 C++ 项目中使用(仅用于推理)。我所经历的是，即使遵循其他用户已经打开的其他问题中发现的所有处方，我在编译源代码后获得的 C++ 可执行文件在推理操作(我的意思是 session ->运行)中要慢得多10 与 Python 推理代码中的相同操作相比。

我知道关于这个主题的不同问题。按照这些，我使用以下命令构建了 C++ 项目:

bazel build -c opt  --copt=-mfma --copt=-mfpmath=both //tensorflow/project:project

我也尝试对推理张量使用与训练相同的批量大小，但我仍然遇到 session -> 运行操作的时间性能同样恶化 10 级。

我知道原则上 C++ 的实现应该比 Python 的实现更快(只是因为 Python 比 C++ 更高级别)，所以我认为这种效果是违反直觉的。我的问题是我是做错了什么还是这只是 Tensorflow 的一个特性。

另一个问题:在网络上搜索，我发现卡住图会减慢推理过程(我可能错了)，但我想不出另一种加载图的方法在 C++ 代码而不是卡住的代码中(无论如何，卡住或不卡住图形对 Python 的性能没有影响)。也许有人还可以解释目前是否有其他选项可用。

非常感谢您提出的所有善意建议，并感谢您在 Tensorflow 方面所做的出色工作。

Answer 1

我发现问题与卡住图有关。在 python 中，我发现我在 python 案例中使用了检查点保存模型，而我在 c++ 代码中使用了卡住模型(我的错误，抱歉)。无论如何，卡住图表似乎大大减慢了推理过程。在以 C++ 方式切换到卡住模型后，python 推理代码也需要相同的 C++ 推理时间。