gpt4 book ai didi

python - 在推理服务中使用 tf.Session 时它是线程安全的吗?

转载 作者:太空狗 更新时间:2023-10-29 18:01:23 27 4
gpt4 key购买 nike

现在我们已经使用 TensorFlow 训练并导出了一个模型。我们可以使用此模型实现推理服务,就像 tensorflow/serving 所做的那样。

我有一个关于tf.Session 对象是否线程安全的问题。如果为真,我们可以在启动后初始化该对象,并使用单例对象来处理并发请求。

最佳答案

tf.Session 对象对于 Session.run() 是线程安全的来自多个线程的调用。

在 TensorFlow 0.10 之前,图形修改不是线程安全的。这在 0.10 版本中已修复,因此您可以在 Session.run() 调用的同时向图中添加节点,但出于性能原因不建议这样做;相反,建议调用 sess.graph.finalize()在使用多个线程的 session 之前,以防止意外的内存泄漏。

关于python - 在推理服务中使用 tf.Session 时它是线程安全的吗?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/38694111/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com