python - 如何将第三方 ML 模型加载到无服务器函数中

Question

我已经构建了一个 ML 模型(使用 sklearn 模块)，我想通过 AWS API Gateway + Lambda 函数为其提供预测。

我的问题是:

1. 由于 lambda 容量限制，我无法安装 sklearn + numpy 等。 ( bundle 大于140MB)
2. 也许这是一个愚蠢的问题，但是，您知道是否有更好的方法来完成这项任务？

我已经尝试过本教程，以减少包的大小。但是，由于 --use-wheel 标志，它会引发异常。

https://serverlesscode.com/post/scikitlearn-with-amazon-linux-container/

    bucket = s3.Bucket(os.environ['BUCKET'])
    model_stream = bucket.Object(os.environ['MODEL_NAME'])
    model = pickle.loads(model_stream)
    model.predict(z_features)[0]

其中 z_features 是使用标量后的特征

Answer 1

只要弄清楚!

该解决方案基本上位于 AWS Lambda 层之上。

我创建了一个 sklearn 层，其中仅包含相关的编译库。然后，我运行 sls package 来打包一个包含这些文件和我自己的 handler.py 代码的包。

最后一步是运行 sls部署--package.serverless

希望对其他人有帮助。