python - 如何创建任何 AWS Lambda Python 层？ (XGBoost 的使用示例)

Question

我在为 xgboost 库创建 lambda 层时遇到问题。我在跑:
我从这里 ( https://github.com/alexeybutyrev/aws_lambda_xgboost ) 抓取 xgboost 的 zip 和它的依赖项并将其加载到层中。当我尝试测试我的 lambda 时，我收到此错误:Unable to import module 'lambda_function': No module named 'xgboost.core'它看起来像 __init__.py正在尝试通过 from .core import <stuff> 引用 core.py
有没有人在使用 AWS Lambda 之前遇到过这个错误？

Answer 1

编辑:正如@Marcin 所说，提供的第一个答案适用于 262 MB 以下的包。
A. Lambda 层大小限制内的 Python 包
您还可以使用 AWS sam cli 和 Docker(请参阅此 link 安装 SAM cli)来在容器内构建包。基本上你用 Python 初始化一个默认模板作为运行时，然后在 requirements.txt 下指定包文件。我发现它比你提到的文章更容易。如果您想考虑将来使用它们，我会让您采取步骤。
1. 初始化一个默认的 SAM 模板
在要保留项目的任何文件夹下，您可以键入

sam init

这将提示一系列问题，为了快速设置，我们将选择如下快速启动模板

1 - AWS Quick Start Templates

2 - Python 3.8

Project name [sam-app]: your_project_name

1 - Hello World Example

通过选择 Hello World Example它生成一个默认值 lambda function与 requirements.txt文件。现在，我们将使用您想要的包的名称进行编辑，在本例中为 xgboost2. 指定要安装的包

cd your_project_name
code hello_world/requirements.txt

因为我有 Visual Studio Code 作为编辑器，所以这将打开它上面的文件。现在，我可以指定 xgboost包裹

your_python_package

这就是安装 Docker 的原因。部分包依赖 C++ .因此，建议在容器内构建(Windows 上的情况)。现在，移动到 template.yaml 所在的文件夹文件位于。然后，键入

sam build -u

3. 压缩包
有些文件您不想包含在 lambda 层中，因为我们只想保留 Python 库。因此，您可以删除以下文件

rm .aws-sam/build/HelloWorldFunction/app.py
rm .aws-sam/build/HelloWorldFunction/__init__.py
rm .aws-sam/build/HelloWorldFunction/requirements.txt

然后压缩文件夹的剩余内容。

cp -r .aws-sam/build/HelloWorldFunction/ python/
zip -r my_layer.zip python/

我们将图层放置在 python/ 中的位置文件夹根据 docs
在 Windows 系统上 zip命令应替换为 Compress-Archive my_layer/ my_layer.zip.4. 将您的层上传到 AWS
在 AWS 上，转到 Lambda ，然后选择 Layers和 Create Layer .现在，您可以上传您的 .zip文件如下图所示

请注意，对于超过 50 MB 的 zip 文件，您应该上传 .zip文件到 s3 存储桶并提供路径，例如， https://s3:amazonaws.com//mybucket/my_layer.zip .
B. 超过 Lambda 层限制的 Python 包 xgboost包本身超过 300 MB 会抛出以下错误

正如@Marcin 善意地指出的那样，使用 SAM cli 的先前方法不会直接适用于超出限制的 Python 层。 github 上有一个 Unresolved 问题在运行时指定自定义 docker 镜像 sam build -u以及重新标记默认值 lambda/lambci 的可能解决方案图片。
那么，我们如何才能度过这一关呢？已经有一些有用的资源，我只想指出。

一、Medium @Alex 作为解决方案遵循的文章 repo code .

二、alexeybutyrev通过应用 strip 起作用的方法命令来减少库的大小。可以在 github repo 下找到这种方法。 ，提供了说明。

编辑(2020 年 12 月)
本月 AWS 发布 container Image支持 AWS Lambda。遵循项目的下一个树结构

Project/
|-- app/
|   |-- app.py
|   |-- requirements.txt
|   |-- xgb_trained.bin
|-- Dockerfile
 

您可以使用以下 Docker 镜像部署 XGBoost 模型。关注此 repo详细说明的说明。

# Dockerfile based on https://docs.aws.amazon.com/lambda/latest/dg/images-create.html

# Define global args
ARG FUNCTION_DIR="/function"
ARG RUNTIME_VERSION="3.6"

# Choose buster image
FROM python:${RUNTIME_VERSION}-buster as base-image

# Install aws-lambda-cpp build dependencies
RUN apt-get update && \
  apt-get install -y \
  g++ \
  make \
  cmake \
  unzip \
  libcurl4-openssl-dev \
  git


# Include global arg in this stage of the build
ARG FUNCTION_DIR
# Create function directory
RUN mkdir -p ${FUNCTION_DIR}

# Copy function code
COPY app/* ${FUNCTION_DIR}/

# Install python dependencies and runtime interface client
RUN python${RUNTIME_VERSION} -m pip install \
                   --target ${FUNCTION_DIR} \
                   --no-cache-dir \
                   awslambdaric \
                   -r ${FUNCTION_DIR}/requirements.txt

# Install xgboost from source
RUN git clone --recursive https://github.com/dmlc/xgboost
RUN cd xgboost; make -j4; cd python-package; python${RUNTIME_VERSION} setup.py install; cd;

# Multi-stage build: grab a fresh copy of the base image
FROM base-image

# Include global arg in this stage of the build
ARG FUNCTION_DIR

# Set working directory to function root directory
WORKDIR ${FUNCTION_DIR}

# Copy in the build image dependencies
COPY --from=base-image ${FUNCTION_DIR} ${FUNCTION_DIR}

ENTRYPOINT [ "/usr/local/bin/python", "-m", "awslambdaric" ]

CMD [ "app.handler" ]