machine-learning - 层归一化层中的 beta 和 gamma 参数的形状是什么？

Question

在层归一化中，我们计算整个输入层的均值和方差(而不是我们在批量归一化中所做的跨批处理计算)。然后根据均值和方差对输入层进行归一化，然后返回gamma乘以归一化层加上beta。

我的问题是，gamma 和 beta 标量的形状分别为 (1, 1) 和 (1, 1)，还是它们的形状分别为 (1, 隐藏单元数) 和 (1, 隐藏单元数)。

这是我实现层标准化的方法，这是正确的吗!

def layernorm(layer, gamma, beta):
    mean = np.mean(layer, axis = 1, keepdims = True)
    variance = np.mean((layer - mean) ** 2, axis=1, keepdims = True)
    layer_hat = (layer - mean) * 1.0 / np.sqrt(variance + 1e-8)
    outpus = gamma * layer_hat + beta
    return outpus

其中 gamma 和 beta 定义如下:

gamma = np.random.normal(1, 128)
beta = np.random.normal(1, 128)

Answer 1

根据Tensorflow's implementation ，假设输入的形状为[B，rest]，gamma 和 beta 的形状为rest。 rest 对于 2 维输入可以是 (h, )，对于 4 维输入可以是 (h, w, c)。