gpt4 book ai didi

python - 如何使用AWS Lambda部署大型Python包?

转载 作者:行者123 更新时间:2023-12-01 09:25:00 26 4
gpt4 key购买 nike

我需要一些建议。

我使用 Tensorflow 训练了一个图像分类器,并希望使用 serverless 将其部署到 AWS Lambda 。该目录包括模型、一些Python模块(包括tensorflow和numpy)以及Python代码。解压缩前的完整文件夹大小为 340 MB,它被 AWS lambda 拒绝,并显示错误消息:“解压缩状态必须小于 262144000 字节”

我应该如何处理这个问题?我不能在 AWS Lambda 上部署此类包吗?

注意:在requirements.txt文件中,列出了2个模块,包括numpy和tensorflow。 (Tensorflow是一个大模块)

最佳答案

我知道我很晚才回答这个问题..只是把它放在这里供其他人引用..我做了以下事情 -

  1. 按照建议删除/external/*/tensorflow/contrib/*/tensorflow/include/unsupported/* 文件 here .
  2. 删除所有 .so 文件,尤其是 site-packages/numpy/core 中的两个文件 - _multiarray_umath.cpython-36m-x86_64-linux-gnu.so 和 _multiarray_tests.cpython-36m-x86_64-linux-gnu.so。 Strip 大大减小了它们的尺寸。
  3. 您可以将模型放入 S3 存储桶并在运行时下载。这将减小 zipper 的尺寸。这个有详细解释here

如果这不起作用,那么可以执行一些其他操作,例如删除 pyc 文件等,如上所述 here

关于python - 如何使用AWS Lambda部署大型Python包?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50503912/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com