python - lambda 单独工作，但在被另一个 lambda 调用时不起作用，尽管 VPN、kms-key 和策略都正确

Question

我的 s3 存储桶中有 2 个 lambda 表达式和 3 个子目录。当文件上传到 sub1 时，会触发第一个 lambda。它生成一个写入 sub2 的输出。然后，这会触发 lambda 2，它将输出写入 sub3。 lambda 的标准使用。

S3 存储桶上传使用 kms-key 进行加密，每个 lambda 都将此 key 配置到其环境变量中，以便它可以读取/写入 s3。

每个 lambda 都附加了多个策略，以便它可以工作:s3crud、VPCAccessPolicy(因为它们位于 vpc 和 2 个子网内)和 LambdaInvokePolicy

sub1 中有 20k 个项目，因此我构建了另一个 lambda，它从 s3 子目录中读取所有项目，创建一个包含存储桶和 key 的事件，并将其传递给 lambda 1，而不是下载所有项目并重新上传来触发事件。该 lambda 具有相同的 VPC、策略和 kms-key。

Step/lambda 1 工作正常并将预期输出写入 sub2，但对于每个步骤 2 文件我得到:

"An error occurred (AccessDenied) when calling the GetObject operation: Access Denied", "errorType": "ClientError"

真正奇怪的是，如果我从 sam cli 进行本地调用，通过 event.json 将文件名传递给 lambda2，它可以正常工作并将预期文件写入 sub3 - 表明这个 lambda 没有任何问题。但我无法使用 lambda 3 来集体调用 lambda 2，尽管它具有相关的 kms-key、VPN 访问和策略。为什么集体调用 lambda 1 可以，但 lambda-2 不行？所有这些文件都位于同一个存储桶中，使用相同的 kms key 进行加密，并且每个 lambda 具有相同的 key 访问权限并位于同一个 VPN 中!

有人能想到为什么会这样吗？

这是 lambda 3:

import boto3
import json
import os
import time
s3_resource = boto3.resource('s3')    

def lambda_handler(event, context):    

    # get list of files in sub dir
    obj_list = []
    bucket = s3_resource.Bucket(event['bucket'])
    for obj in bucket.objects.filter(Prefix=event['prefix'],Delimiter='/'):
        obj_list.append(str(obj.key))

     # COUNT: 20440    

    # generate list of event.json to pass into lambdas
    event_list = []
    for key in obj_list[:5]:
        x = make_template()
        x['Records'][0]['s3']['object']['key'] = key
        x['Records'][0]['s3']['bucket']['name'] = event['bucket']
        event_list.append(x)

    # invoke lambdas
    # setup boto3 and inputs 
    involeLam = boto3.client("lambda", region_name="eu-west-1")
    lambda_to_invoke = event['lambda_to_trigger']

    # invoke the lambda
    invocations = []
    for payload in event_list:
        response = involeLam.invoke(FunctionName = lambda_to_invoke, InvocationType = "RequestResponse", Payload = json.dumps(payload))    # initiate and await response
        invocations.append(response)

    time.sleep(60)

    # parse the contents of the file from the lambda return
    for i in invocations:
        print(i["Payload"].read())



    return {
            "success": True
            }


def make_template():
    template = {  
        "Records":[  
            {  
                "s3":{  
                "bucket":{  
                    "name":"mybucket"
                },
                "object":{  
                    "key":"path/to/file.csv"
                }
                }
            }
        ]
        }
    return template

这是传递到此 lambda 的 event.json:

{
  "bucket": "mybucket",
  "prefix": "path/to/my/",
  "lambda_to_trigger":"arn:aws:lambda:eu-west-1:number:function:MyFunction"

}

这是用于构建此 lambda 的 template.yaml:

AWSTemplateFormatVersion: '2010-09-09'
Transform: AWS::Serverless-2016-10-31
Description: >
  triggermultiplelambda

  Sample SAM Template for triggermultiplelambda

Globals:
  Function:
    Timeout: 120

Resources:
  TriggerMultipleLambdaFunction:
    Type: AWS::Serverless::Function 
    Properties:
      CodeUri: triggermultiplelambda/
      Handler: triggerMultipleLambda.lambda_handler
      Runtime: python3.6
      KmsKeyArn: !Sub arn:aws:kms:eu-west-1:number:key/code-for-key
      Policies: 
        - S3CrudPolicy:
            BucketName: "*"
        - VPCAccessPolicy: {}
        - LambdaInvokePolicy:
            FunctionName: "*"

Outputs:
  TriggerMultipleLambdaFunction:
    Description: "TriggerMultipleLambda Lambda Function ARN"
    Value: !GetAtt TriggerMultipleLambdaFunction.Arn
  TriggerMultipleLambdaFunctionIamRole:
    Description: "Implicit IAM Role created for TriggerMultipleLambda function"
    Value: !GetAtt TriggerMultipleLambdaFunctionRole.Arn

如果我应该发布其他内容，请告诉我。非常感谢

Answer 1

我终于明白了。所以template.yaml需要修改如下:

这行(我已经弄清楚了)需要添加到资源:功能:属性:

KmsKeyArn: !Sub arn:aws:kms:eu-west-1:number:key/code-for-key

需要将策略添加到策略部分:

- KMSDecryptPolicy:
            KeyId: code-for-key

根据使用哪个 boto3 api 来访问 S3，需要将以下几行添加到 lambda 中的导入语句中:

from botocore.client import Config

# EITHER
s3_resource = boto3.resource('s3', config=Config(signature_version='s3v4'))
# OR
s3_client = boto3.client('s3', config=Config(signature_version='s3v4'))

通过这些语句，我现在可以从 S3 读取/下载/解密使用 kms key 加密的文件。

要上传文件，我使用以下行:

s3_client.upload_file('/tmp/' + outputfilename, OUTPUTBUCKET, OUTPUTFOLDER+'/'+outputfilename,  
                        ExtraArgs={"ServerSideEncryption": "aws:kms", "SSEKMSKeyId":"code-for-key"})

我从以下网址得到了这个解决方案:

justdocloud reddit

非常感谢您的帮助 jarmod，我希望这对某人有帮助!