Pytorch:裁剪激活的可学习阈值

Question

用可学习的阈值限制 ReLU 激活的正确方法是什么？以下是我的实现方式，但我不确定这是否正确:

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()

        self.act_max = nn.Parameter(torch.Tensor([0]), requires_grad=True)

        self.conv1 = nn.Conv2d(3, 32, kernel_size=5)
        self.conv2 = nn.Conv2d(32, 64, kernel_size=5)
        self.pool = nn.MaxPool2d(2, 2)
        self.relu = nn.ReLU()
        self.linear = nn.Linear(64 * 5 * 5, 10)

    def forward(self, input):
        conv1 = self.conv1(input)
        pool1 = self.pool(conv1)
        relu1 = self.relu(pool1)

        relu1[relu1 > self.act_max] = self.act_max

        conv2 = self.conv2(relu1)
        pool2 = self.pool(conv2)
        relu2 = self.relu(pool2)
        relu2 = relu2.view(relu2.size(0), -1)
        linear = self.linear(relu2)
        return linear


model = Net()
torch.nn.init.kaiming_normal_(model.parameters)
nn.init.constant(model.act_max, 1.0)
model = model.cuda()
optimizer = torch.optim.SGD(model.parameters(), lr=0.001)
for epoch in range(100):
    for i in range(1000):
        output = model(input)
        loss = nn.CrossEntropyLoss()(output, label)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
        model.act_max.data = model.act_max.data - 0.001 * model.act_max.grad.data

我必须添加最后一行，因为如果没有它，由于某种原因该值将不会更新。

更新:我现在正在尝试一种基于激活梯度计算上限 (act_max) 的方法:

1. 对于高于阈值的所有激活 (relu1[relu1 > self.act_max])，查看它们的梯度:计算所有这些梯度指向的平均方向。
2. 对于低于阈值的所有正向激活，计算它们想要改变的方向的平均梯度。
3. 这些平均梯度的总和决定了 act_max 变化的方向和幅度。

Answer 1

该代码有两个问题。

1. 实现级别的一个是您使用的就地操作通常不能很好地与 autograd 配合使用。而不是

relu1[relu1 > self.act_max] = self.act_max

你应该使用像这样的异地操作

relu1 = torch.where(relu1 > self.act_max, self.act_max, relu1)

1. 另一个更通用:神经网络通常使用梯度下降法进行训练，阈值可以没有梯度 - 损失函数相对于阈值不可微分。

在您的模型中，您使用了一个肮脏的 hackaround(无论您是按原样编写还是使用 torch.where )- model.act_max.grad.data仅定义是因为对于某些元素，它们的值设置为 model.act_max .但是此梯度对为什么将它们设置为该值一无所知。为了使事情更具体，让我们定义截止操作 C(x, t)它定义了是否 x高于或低于阈值 t

C(x, t) = 1 if x < t else 0

并将你的裁剪操作写成一个乘积

clip(x, t) = C(x, t) * x + (1 - C(x, t)) * t

然后您可以看到阈值 t具有双重含义:它控制何时截止(在 C 内)并控制高于截止值的值(尾随 t )。因此，我们可以将操作概括为

clip(x, t1, t2) = C(x, t1) * x + (1 - C(x, t1)) * t2

你的操作的问题是它只对 t2 是可微的但不是 t1 .您的解决方案将两者联系在一起，因此 t1 == t2 ，但梯度下降仍然会表现得好像没有改变阈值，只会改变高于阈值的值。

因此，一般来说，您的阈值操作可能不会学习到您希望它学习到的值。这是在开发您的操作时要记住的事情，但不是保证失败 - 事实上，如果您考虑标准 ReLU在某些线性单元的偏置输出上，我们得到了类似的图片。我们定义截止操作H

H(x, t) = 1 if x > t else 0

和ReLU作为

ReLU(x + b, t) = (x + b) * H(x + b, t) = (x + b) * H(x, t - b)

我们可以再次泛化到的地方

ReLU(x, b, t) = (x + b) * H(x, t)

而且我们只能学习 b和 t隐含地跟随 b .但它似乎有效:)