python - 用于高流量应用程序实时预测的生产环境中的 TensorFlow - 如何使用？

Question

在高流量应用程序中使用 TensorFlow 进行实时预测的正确方法是什么。

理想情况下，我会有一个运行 tensorflow 的服务器/集群在一个端口上监听，我可以在其中从应用程序服务器连接并获得类似于数据库使用方式的预测。训练应该由 cron 作业完成，通过网络将训练数据提供给同一服务器/集群。

如何在生产中实际使用 TensorFlow？我应该构建一个设置，让 python 作为服务器运行并使用 python 脚本来获得预测吗？我对此还是个新手，但我觉得这样的脚本需要打开 session 等。这是不可扩展的。 (我说的是每秒 100 次预测)。

任何指向相关信息的指针将不胜感激。我找不到。

Answer 1

今天早上，我们的同事发布了TensorFlow Serving在 GitHub 上，它解决了您提到的一些用例。它是 TensorFlow 的分布式包装器，旨在支持多个模型的高性能服务。它支持来自应用服务器的批量处理和交互式请求。

有关详细信息，请参阅 basic和 advanced教程。