python - 为 AWS Lambda 部署压缩虚拟环境时，我可以遗漏什么？

Question

介绍

我刚开始使用 AWS Lambda，虽然我很讨厌它，但我非常喜欢它。我创建了 a Makefile to help me打包我的虚拟环境并运送到 S3。在我弄明白之后 cryptography需要 hidden file in the site-packages directory #GRRR，我开始想知道如何进一步改进我的打包过程。

上下文

这是新 Amazon Linux AMI EC2 实例上的新 virtualenv 的样子。

$ uname -srvm
Linux 4.4.51-40.58.amzn1.x86_64 #1 SMP Tue Feb 28 21:57:17 UTC 2017 x86_64

$ cat /etc/system-release
Amazon Linux AMI release 2016.09

$ virtualenv --version
15.1.0

$ pip --version
pip 9.0.1 from /usr/local/lib/python2.7/site-packages (python 2.7)

$ virtualenv temp
New python executable in /home/ec2-user/temp/bin/python2.7
Also creating executable in /home/ec2-user/temp/bin/python
Installing setuptools, pip, wheel...done.

^{图。 1}

$ ls -a temp/lib/python2.7/site-packages/
.                        packaging-16.8.dist-info   setuptools-34.3.2.dist-info
..                       pip                        six-1.10.0.dist-info
appdirs-1.4.3.dist-info  pip-9.0.1.dist-info        six.py
appdirs.py               pkg_resources              six.pyc
appdirs.pyc              pyparsing-2.2.0.dist-info  wheel
easy_install.py          pyparsing.py               wheel-0.29.0.dist-info
easy_install.pyc         pyparsing.pyc
packaging                setuptools

^{图。 2}

我发现为了进行我需要的 python 开发(使用 paramiko)，我必须这样做来准备(在图 1 和图 2 之前):

sudo yum install gcc python27-devel libffi-devel openssl-devel
sudo -H pip install --upgrade pip virtualenv

^{图。 3}

问题

在图中的那些站点包中。 2，我可以从发送到 AWS 的 zip 中省略哪些？

为了比较，这是我完整项目的 virtualenv 中的内容(我 pip 安装的唯一东西是 paramiko):

$ ls -a aws_lambda_project/lib/python2.7/site-packages/
.                             packaging
..                            packaging-16.8.dist-info
appdirs-1.4.3.dist-info       paramiko
appdirs.py                    paramiko-2.1.2.dist-info
appdirs.pyc                   pip
asn1crypto                    pip-9.0.1.dist-info
asn1crypto-0.22.0.dist-info   pkg_resources
cffi                          pyasn1
cffi-1.9.1.dist-info          pyasn1-0.2.3.dist-info
_cffi_backend.so              pycparser
cryptography                  pycparser-2.17.dist-info
cryptography-1.8.1.dist-info  pyparsing-2.2.0.dist-info
easy_install.py               pyparsing.py
easy_install.pyc              pyparsing.pyc
enum                          setuptools
enum34-1.1.6.dist-info        setuptools-34.3.2.dist-info
idna                          six-1.10.0.dist-info
idna-2.5.dist-info            six.py
ipaddress-1.0.18.dist-info    six.pyc
ipaddress.py                  wheel
ipaddress.pyc                 wheel-0.29.0.dist-info
.libs_cffi_backend

Answer 1

这对我有用，请试一试:

$ mkdir paramiko-lambda && cd paramiko-lambda
$ virtualenv env --python=python2.7 && source env/bin/activate
$ pip freeze > pre_paramiko.txt
$ pip install paramiko
$ pip freeze > post_paramiko.txt

然后我将以下内容放入脚本中以确保它在本地运行:

from __future__ import print_function
import paramiko


def handler(event, context):
    print(paramiko.__version__)
    ssh_client = paramiko.SSHClient()

if __name__ == '__main__':
    handler(event=None, context=None)

最后两行是可选的，只是一种在本地测试脚本的简单方法。为了查看与 paramiko 一起安装的内容，我比较了两个文本文件:

$ diff -u pre_paramiko.txt post_paramiko.txt
--- pre_paramiko.txt
+++ post_paramiko.txt
@@ -1,4 +1,13 @@
 appdirs==1.4.3
+asn1crypto==0.22.0
+cffi==1.10.0
+cryptography==1.8.1
+enum34==1.1.6
+idna==2.5
+ipaddress==1.0.18
 packaging==16.8
+paramiko==2.1.2
+pyasn1==0.2.3
+pycparser==2.17
 pyparsing==2.2.0
 six==1.10.0

带有 + 的模块是随 paramiko 安装的，因此必须包含在上传到 AWS Lambda 的 .zip 存档中。很容易编写一个 bash 脚本来获取 diff 命令的输出并自动创建 .zip 存档，但我只是要输入它们手动输入。

$ cd env/lib/python2.7/site-packages
$ zip -x "*.pyc" -r ../../../../paramiko_lambda.zip packaging asn1crypto cffi cryptography enum idna ipaddress paramiko pyasn1 pycparser
$ cd ../../../../
$ zip -r paramiko_lambda.zip paramiko_lambda.py

我需要添加 packaging 文件夹可能是因为 print(paramiko.__version__) 所以它可能不是必需的。 paramiko_lambda.zip 文件大小为 2.5 MB，虽然不大但包含很多不必要的数据，特别是 *.pyc 文件。排除 *.pyc 文件将文件减少到 1.5 MB。