java - ImageMagick 在 AWS Lambda 上抛出大图像转换错误

Question

我们有一个用 Java 编写的程序，我将其部署在 AWS Lambda 上。

该程序通过预装在 Lambda 上的 Imagick 将给定图像转换为不同的缩略图。我们已将 Lambda 设置为使用最大 1536 MB 内存，同时在应用程序中限制转换命令:

imConvertPath = imPath + "convert  -limit memory 1GB -limit map 1350MB";

使用此设置，代码对于几 MB 的较小图像可以正常工作，但当我尝试使用 ~40MB 的高分辨率图像时，它会失败并出现以下错误:

org.apache.commons.exec.ExecuteException: Process exited with an error: 135

这个错误是什么意思？程序是否遇到一些 sig 错误问题或什么？

此外，当我通过我的 stub 代码运行该程序进行测试时，它能够毫无问题地进行转换。

Answer 1

您没有说明如何进行收缩，但如果您要调整 JPEG 图像的大小，则必须使用 libjpeg Shrink-on-Load 以获得良好的性能。

例如，在这台具有 10,000 x 10,000 像素 RGB jpeg 图像和 IM 7.0.5-5 的计算机 (2012 imac) 上，我看到:

$ /usr/bin/time -l convert wtc.jpg -resize 500x500 x.jpg
        6.87 real         6.06 user         0.51 sys
1269547008  maximum resident set size

大约需要 7 秒和 1.2GB 内存。如果我使用收缩加载，您向 jpeg 加载器提示您需要什么像素尺寸，我会看到:

$ /usr/bin/time -l convert -define jpeg:size=1000x1000 wtc.jpg -resize 500x500 x.jpg
        0.32 real         0.27 user         0.02 sys
  34181120  maximum resident set size

低至 0.3 秒和 34MB 内存。

这仅适用于 JPEG 文件，但确实有很大帮助。您需要提示最终输出的两倍大小，否则您会看到锯齿。

要提高其他文件类型的性能，您需要查看其他图像调整大小程序。我帮忙维护libvips ，一个流式图像处理库。它可以解码、处理和重新编码为连续的像素流，因此不需要将整个图像保留在内存中。

使用 30,000 x 30,000 JPEG 并转换，我看到:

$ /usr/bin/time -l convert -define jpeg:size=1000x1000 big.jpg -resize 500x500 x.jpg
        3.08 real         2.92 user         0.14 sys
 300138496  maximum resident set size

3.1 秒和 300MB 内存，但使用 vipsthumbnail 我看到:

$ /usr/bin/time -l vipsthumbnail big.jpg --size 500x500 -o x.jpg
        2.38 real         2.31 user         0.06 sys
  28385280  maximum resident set size

2.4秒和28MB内存。

对于像 TIFF 这样没有加载时收缩系统的格式，差异会变得更大。使用 10,000 x 10,000 RGB TIFF 我看到:

$ /usr/bin/time -l convert wtc.tif -resize 500x500 x.jpg
        5.81 real         4.97 user         0.60 sys
1503449088  maximum resident set size

5.8 秒和 1.5GB 内存，对比:

$ /usr/bin/time -l vipsthumbnail wtc.tif --size 500x500 -o x.jpg
        1.43 real         0.47 user         0.08 sys
  42360832  maximum resident set size

1.4秒和42MB内存。

有一个非常好的 Node.js 图像调整大小包，名为 sharp基于应该部署在 lambda 上的 libvips，或者如果您想使用 Java 中的命令行 vipsthumbnail 程序，有各种构建器，例如:

https://github.com/stechstudio/libvips-lambda

这里有一篇介绍 vipsthumbnail 的博客文章:

https://libvips.github.io/libvips/API/current/Using-vipsthumbnail.md.html