python - 如何实现当前pytorch带参数的激活函数？

Question

我正在寻找一种简单的方法来使用 pytorch 库中存在的激活函数，但使用某种参数。例如:

Tanh(x/10)

我想出的寻找解决方案的唯一方法是完全从头开始实现自定义功能。有没有更好/更优雅的方法来做到这一点？

编辑:

我正在寻找某种方法将函数 Tanh(x/10) 而不是简单的 Tanh(x) 附加到我的模型中。这是相关的代码块:

    self.model = nn.Sequential()
    for i in range(len(self.layers)-1):
        self.model.add_module("linear_layer_" + str(i), nn.Linear(self.layers[i], self.layers[i + 1]))
        if activations == None:
            self.model.add_module("activation_" + str(i), nn.Tanh())
        else:
            if activations[i] == "T":
                self.model.add_module("activation_" + str(i), nn.Tanh())
            elif activations[i] == "R":
                self.model.add_module("activation_" + str(i), nn.ReLU())
            else:
                #no activation
                pass

Answer 1

您可以将其内联到自定义层中，而不是将其定义为特定函数。

例如，您的解决方案可能如下所示:

import torch
import torch.nn as nn

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(4, 10)
        self.fc2 = nn.Linear(10, 3)
        self.fc3 = nn.Softmax()

    def forward(self, x):
        return self.fc3(self.fc2(torch.tanh(self.fc1(x)/10)))

其中 torch.tanh(output/10) 内联在模块的前向函数中。