python - 如何减小 AWS Lambda 打包的 python zip 文件的大小

Question

下午，

我最近遇到了 AWS Lambda 和 Azure Functions。 AWS 对压缩文件和解压缩文件的大小施加了限制，对于 python 脚本来说，这需要包括所有依赖模块。我一直在使用 lambda-uploader 来打包我的脚本及其模块依赖项，但是 pandas 包太大了。

我见过有人在 AWS Lambda 上完成机器学习和使用 pandas 的例子(虽然有点过时)，但我看不到他们是怎么做到的。有什么建议吗？

Answer 1

您上传到 lambda 的包除了 Lambda 运行您的代码所需的代码和支持模块外，不应包含任何内容。 Lambda 控制台用户界面 limits文件大小为 10MB，但如果将 zip 文件放在 S3 存储桶中，然后请求 Lambda 从 S3 加载它们，则可以上传最大 50MB 的 zip 文件。

您执行所需的任何其他 Assets (例如机器学习模型)都应单独上传到 S3，然后在执行时从您的 Lambda 函数中下载。 Lambda 函数可以写入 /tmp 文件夹，但请记住它只能访问 512MB 的磁盘空间。另请记住，Lambda 函数的最长运行时间为 300 秒，因此下载非常大的文件将占用您的函数处理正在下载的数据的实际工作时间。