python - 如何在包依赖性大于 500MB 的 AWS lambda 上运行 python 代码？

Question

要求是我必须在 lambda 上触发 SageMaker 端点以获得预测(这很容易)，但必须使用 XGBoost 和 SHAP 等包对可变重要性进行一些额外处理。

我能够使用 SageMaker Jupyter 笔记本达到终点并获得可变的重要性。现在，我想在 AWS lambda 上复制同样的东西。

1) 如何在具有 Pandas、XGBoost 和 SHAP(总包大小大于 500MB)包依赖项的 AWS lambda 上运行 python 代码。解压缩的部署包大小大于 250 MB，因此 lambda 不允许部署。我什至尝试使用 Cloud9 中的 lambda 函数，但由于大小限制而出现相同的错误。我也尝试过 lambda 层，但没有成功。

2) 有没有办法让我在 lambda 上或通过 lambda 运行带有如此大包的代码，绕过 250 MB 的部署包大小限制

3) 有没有办法通过 lambda 触发 SageMaker notebook 执行，它会进行计算并将输出返回给 lambda？

Answer 1

尝试将您的依赖项上传到 Lambda 层。仅供引用:https://docs.aws.amazon.com/lambda/latest/dg/configuration-layers.html