python - 为什么使用 PIL 和 pytorch 对图像进行双线性缩放会产生不同的结果？

Question

为了将图像提供给 pytorch 网络，我首先需要将其缩小到某个固定大小。起初我使用 PIL.Image.resize() 方法完成了它，插值模式设置为 BILINEAR。然后我认为首先将一批图像转换为 pytorch 张量然后使用 torch.nn.functional.interpolate() 函数在 GPU 上一次缩放整个张量会更方便(“双线性”插值模式也是如此) .这会导致模型精度降低，因为现在在推理过程中，一种缩放(火炬)与训练(PIL)期间使用的缩放类型不同。之后，我在视觉上比较了两种缩小比例的方法，发现它们产生了不同的结果。枕头缩小看起来更平滑。尽管它们都是双线性的，但这些方法是否在幕后执行不同的操作？如果是这样，我也很好奇是否有办法实现与使用火炬张量缩放的枕头图像缩放相同的结果？

Original image (著名的Lenna形象)

枕头缩放图像:



火炬缩放图像:



平均 channel 绝对差图:



演示代码:

import numpy as np
from PIL import Image
import torch
import torch.nn.functional as F
from torchvision import transforms
import matplotlib.pyplot as plt

pil_to_torch = transforms.ToTensor()
res_shape = (128, 128)


pil_img = Image.open('Lenna.png')
torch_img = pil_to_torch(pil_img)

pil_image_scaled = pil_img.resize(res_shape, Image.BILINEAR)
torch_img_scaled = F.interpolate(torch_img.unsqueeze(0), res_shape, mode='bilinear').squeeze(0)

pil_image_scaled_on_torch = pil_to_torch(pil_image_scaled)
relative_diff = torch.abs((pil_image_scaled_on_torch - torch_img_scaled) / pil_image_scaled_on_torch).mean().item()
print('relative pixel diff:', relative_diff)

pil_image_scaled_numpy = pil_image_scaled_on_torch.cpu().numpy().transpose([1, 2, 0])
torch_img_scaled_numpy = torch_img_scaled.cpu().numpy().transpose([1, 2, 0])
plt.imsave('pil_scaled.png', pil_image_scaled_numpy)
plt.imsave('torch_scaled.png', torch_img_scaled_numpy)
plt.imsave('mean_diff.png', np.abs(pil_image_scaled_numpy - torch_img_scaled_numpy).mean(-1))

Python 3.6.6，要求:

cycler==0.10.0
kiwisolver==1.1.0
matplotlib==3.2.1
numpy==1.18.2
Pillow==7.0.0
pyparsing==2.4.6
python-dateutil==2.8.1
six==1.14.0
torch==1.4.0
torchvision==0.5.0

Answer 1

“双线性插值”是一种插值方法。
但是缩小图像不一定只使用插值来完成。
可以简单地将图像重新采样为较低的采样率，使用插值方法计算与旧样本不一致的新样本。但这会导致混叠(当图像中的高频分量无法以较低的采样密度表示时，就会出现混叠，将这些高频的能量“混叠”到低频分量上；也就是说，新的低频分量出现在重采样后的图像)。
为避免混叠，一些库在重新采样之前应用低通滤波器(去除不能以较低采样频率表示的高频)。这些库中的子采样算法不仅仅是插值。
您看到的区别是因为这两个库采用不同的方法，一个尝试通过低通滤波避免混叠，另一个则没有。
要在 Torch 中获得与 Pillow 中相同的结果，您需要自己明确地对图像进行低通滤波。要获得相同的结果，您必须准确地弄清楚 Pillow 是如何过滤图像的，有不同的方法和不同的可能参数设置。查看源代码是了解它们究竟做了什么的最好方法。