gpt4 book ai didi

python - 在 python 库中导入和裁剪 jpeg 的快速方法

转载 作者:太空宇宙 更新时间:2023-11-03 13:56:27 26 4
gpt4 key购买 nike

我有一个 python 应用程序,它导入 200k+ 图像,裁剪它们,并将裁剪后的图像呈现给 pyzbar 以解释条形码。裁剪有帮助,因为图像上有多个条形码,并且当给定较小的图像时,pyzbar 可能会更快一些。

目前我正在使用 Pillow 导入和裁剪图像。

平均导入和裁剪图像需要 262 毫秒,pyzbar 需要 8 毫秒。

典型的运行时间约为 21 小时。

我想知道 Pillow 以外的库是否可以在加载/裁剪方面提供实质性改进。理想情况下,该库应该可用于 MacOS,但我也可以在虚拟 Ubuntu 机器上运行整个程序。

我正在开发一个可以在并行进程中运行的版本,这将是一个很大的改进,但如果我可以从不同的库中获得 25% 或更多的速度提升,我也会添加它。

最佳答案

由于您没有提供示例图片,我制作了一个尺寸为 2544x4200、大小为 1.1MB 的虚拟文件,并在答案末尾提供。我制作了该图像的 1,000 份副本,并为每个基准处理了所有 1,000 张图像。

由于您只在评论区提供了您的代码,所以我接受了它,对其进行了格式化并尽我所能。我还将它放在一个循环中,这样它就可以为 Python 解释器的一次调用处理许多文件——当你有 20,000 个文件时,这一点变得很重要。

看起来像这样:

#!/usr/bin/env python3

import sys
from PIL import Image

# Process all input files so we only incur Python startup overhead once
for filename in sys.argv[1:]:
print(f'Processing: {filename}')
imgc = Image.open(filename).crop((0, 150, 270, 1050))

我怀疑我可以使用以下方法加快速度:

  • GNU 并行,和/或
  • pyvips

这是您的代码的 pyvips 版本:

#!/usr/bin/env python3

import sys
import pyvips
import numpy as np

# Process all input files so we only incur Python startup overhead once
for filename in sys.argv[1:]:
print(f'Processing: {filename}')

img = pyvips.Image.new_from_file(filename, access='sequential')
roi = img.crop(0, 150, 270, 900)
mem_img = roi.write_to_memory()

# Make a numpy array from that buffer object
nparr = np.ndarray(buffer=mem_img, dtype=np.uint8,
shape=[roi.height, roi.width, roi.bands])

结果如下:

顺序原始代码

./orig.py bc*jpg
224 seconds, i.e. 224 ms per image, same as you

并行原代码

parallel ./orig.py ::: bc*jpg
55 seconds

并行原始代码但传递尽可能多的文件名

parallel -X ./orig.py ::: bc*jpg
42 seconds

顺序 pyvips

./vipsversion bc*
30 seconds, i.e. 7x as fast as PIL which was 224 seconds

并行 pyvips

parallel ./vipsversion ::: bc*
32 seconds

并行 pyvips 但传递尽可能多的文件名

parallel -X ./vipsversion ::: bc*
5.2 seconds, i.e. this is the way to go :-)

enter image description here


请注意,您可以使用 homebrew 在 macOS 上安装 GNU Parallel:

brew install parallel

关于python - 在 python 库中导入和裁剪 jpeg 的快速方法,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54975193/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com