express - 将图像从 lambda 上传到 s3(损坏的文件)

Question

我创建了一个使用 multer 的节点快速应用程序将图像上传到我的“assets-in”s3 存储桶。图像上传到 s3 后，图像处理 lambda 函数获取图像并将其大小调整到另一个 s3 存储桶。

上传脚本:

var assetsBucketIn = new AWS.S3({
  accessKeyId     : "...",
  secretAccessKey : "...",
  region          : "...",
  params : {
    Bucket : "..."
  }
});

var uploadAssets     = multer({inMemory : true});
var imgFieldSettings = [
  {
    name     : 'uploadFiles',
    maxCount : 7
  }
];

router.post('/images', uploadAssets.fields(imgFieldSettings), (req, res, next) => {
  ...
  uploadPromises = [];
  for(let i = 0; i < req.files.uploadFiles.length; i++){
    let params = {
      Key  : path.join(srcPath, srcName),
      Body : req.files.uploadFiles[i].buffer
    };
    let uploadPromise = assetsBucketIn.upload(params).promise();
    uploadPromises.push(uploadPromise);
  }

  Promise.all(uploadPromises)
   .then(...).catch(...);

我可以在 localhost 上毫无问题地运行这个 express 应用程序，但是当我通过 lambda 使用 aws-serverless-express 运行 express 应用程序时，我无法访问图像(访问被拒绝)并且图像处理 lambda 函数给了我以下日志错误:

TypeError: Cannot read property 'width' of undefined at gm. (/var/task/index.js:103:50) at emitMany (events.js:127:13) at gm.emit (events.js:201:7) at gm. (/var/task/node_modules/gm/lib/getters.js:70:16) at cb (/var/task/node_modules/gm/lib/command.js:322:16) at ChildProcess.onExit (/var/task/node_modules/gm/lib/command.js:305:9) at emitTwo (events.js:106:13) at ChildProcess.emit (events.js:191:7) at maybeClose (internal/child_process.js:886:16) at Socket. (internal/child_process.js:342:11)

gm是节点的 GraphicsMagick 和 ImageMagick 模块

我想问题出在 express 应用程序中，我使用 serverless 在 aws lambda 上运行该应用程序.也许它与 lambda 环境发生冲突的 multer 设置有问题？顺便说一下，我的 assetsBucket 具有“AmazonS3FullAccess”角色。

更新:

实际上我刚刚发现问题不在于访问权限，没关系，公共(public)访问被拒绝(对于那些误导性信息，请原谅)。当我下载上传到我的 Assets 存储桶的图像时，我无法打开它并收到以下错误代码:

Error interpreting JPEG image file (Not a JPEG file: starts with 0xef 0xbf)

但是只有当我使用 aws lambda(无服务器)上传图片时，我才会收到此错误，当我在本地运行上传过程时，文件似乎一切正常，所以不知何故 通过 lambda 上传时文件损坏

Answer 1

就我而言，这是 API Gateway 故障，事实证明您必须启用二进制支持，否则 lambda 函数将永远不会收到二进制内容:

转到您的 ApiGateway 端点的设置

转到二进制媒体类型

添加新的二进制类型并放入:image/jpg

此外，如果您的 Lambda 函数位于 VPC 和安全组之后，请首先检查它是否在没有 VPC 的情况下工作。