python - 有没有在 Cloud Functions 上运行 Tensorflow 的好方法？尤其是偶尔打电话的时候

Question

我阅读了与 TensorFlow2.0 相关的文章

https://cloud.google.com/blog/products/ai-machine-learning/how-to-serve-deep-learning-models-using-tensorflow-2-0-with-cloud-functions

并设置程序以在 Google Cloud Functions (Python) 环境中使用 TensorFlow2.0 执行推理。

但是我注意到，从一个没有调用的状态到启动一个函数需要半天左右的时间。

查了一下，发现比较耗时的部分是TensorFlow的import部分。消耗了大约 20 秒。在测试的代码中，估计从输出打印函数开始的时间大约在20秒左右。

import logging
print('imported:logging')
import numpy as np
print('imported:numpy')
import tensorflow as tf
print('imported:tensorflow')

这意味着如果我有少量用户，比如当开始一个新服务时，某个时间段内的第一个调用者可能会超时或者需要很多等待时间。对于具有可选 AI 相关功能的服务尤其如此。

我可以想出一些措施，例如定期运行自动调用和始终预热，但这不是一个好主意。还有其他好的解决办法吗？

Answer 1

我向您推荐 2 个提高性能的解决方案

• 要么使用具有 2Gb 内存的函数(如果还不是这样)以获得 vCPU 的最大速度 (2.4Ghz) 并尝试像这样提高性能。 (本教程示例将内存设置为 2Gb，以防万一您更改了此设置)
• 将函数 handler(request) 包装到一个简单的 Flask 服务器中，使用 warmup endpoint 将其部署在 App Engine 标准上.您可以让您的实例始终保持运行状态。 With Automatic scalling, you have 28 free instance-hour per day .如果您的请求很少，则只有 1 个实例启动，您无需为低延迟预测服务支付任何费用。