pytorch - 'area' 的上采样方法是干什么用的？

Question

PyTorch 函数 torch.nn.functional.interpolate包含多种上采样模式，例如:nearest , linear , bilinear , bicubic , trilinear , area .
什么是area上采样模式用于？

Answer 1

正如 jodag 所说，它正在使用自适应平均池化来调整大小。虽然链接上的答案旨在解释自适应平均池化是什么，但我发现解释有点模糊。
TL;博士 area torch.nn.functional.interpolate的模式当人们想要对图像进行下采样时，这可能是最直观的思考方式之一。
您可以将其视为应用 平均低通滤波器 (LPF) 到原始图像，然后采样。申请 LPF 采样前是为了防止潜在别名 在下采样图像中。 别名 可能会导致缩小图像中出现莫尔条纹。
它可能被称为“区域”，因为它(大致)在平均输入像素时保留了输入和输出形状之间的面积比。更具体地说，输出图像中的每个像素将是输入图像中相应区域的平均值，其中 1/area该区域的面积大致是输出图像的面积和输入图像的面积之比。
此外，interpolate功能与 mode = 'area'调用源函数 adaptie_avg_pool2d (在 C++ 中实现)它为输出张量中的每个像素分配输入的计算区域内所有像素强度的平均值。该区域是按像素计算的，不同像素的大小可能不同。它的计算方式是将输出像素的高度和宽度乘以输入和输出(按该顺序)高度和宽度(分别)之间的比率，然后取一次 floor (对于区域的起始索引)和一次 ceil (对于区域的结束索引)结果值。
这是对nn.AdaptiveAvgPool2d中发生的事情的深入分析:
首先，如上所述，您可以在此处找到自适应平均池化(C++)的源代码:source
看看发生魔法的函数(或者至少是单帧 CPU 上的魔法)，static void adaptive_avg_pool2d_single_out_frame ，我们有 5 个嵌套循环，依次是 channel 尺寸、宽度、高度，在第三个循环的主体内，神奇的事情发生了:
首先计算输入图像中的区域，该区域用于计算当前像素的值(回想一下，我们有宽度和高度循环来运行输出中的所有像素)。
这是怎么做的？
使用以下简单计算高度和宽度的开始和结束索引:floor((input_height/output_height) * current_output_pixel_height)开始和 ceil((input_height/output_height) * (current_output_pixel_height+1))宽度也类似。
然后，所做的只是简单地平均该区域和当前 channel 中所有像素的强度，并将结果放在当前输出像素中。
我写了一个简单的 Python 代码片段，它以相同的方式(循环，天真)做同样的事情并产生等效的结果。它需要张量 a并使用自适应平均池调整大小 a塑造output_shape有 2 种方式 - 一次使用内置 nn.AdaptiveAvgPool2d还有一次我将 C++ 中的源函数翻译成 Python:static void adaptive_avg_pool2d_single_out_frame .内置函数的结果保存到 b我的翻译被保存到 b_hat .您可以看到结果是等效的(您可以进一步使用空间形状并验证这一点):

import torch
from math import floor, ceil
from torch import nn
a = torch.randn(1, 3, 15, 17)
out_shape = (10, 11)
b = nn.AdaptiveAvgPool2d(out_shape)(a)

b_hat = torch.zeros(b.shape)
for d in range(a.shape[1]):
    for w in range(b_hat.shape[3]):
        for h in range(b_hat.shape[2]):
            startW = floor(w * a.shape[3] / out_shape[1])
            endW = ceil((w + 1) * a.shape[3] / out_shape[1])

            startH = floor(h * a.shape[2] / out_shape[0])
            endH = ceil((h + 1) * a.shape[2] / out_shape[0])
            
            b_hat[0, d, h, w] = torch.mean(a[0, d, startH: endH, startW: endW])

'''
Prints Mean Squared Error =  0 (or a very small number, due to precision error)
as both outputs are the same, proof of output equivalence:
'''
print(nn.MSELoss()(b_hat, b))