algorithm - 使用对数对向量进行归一化以避免溢出

Question

Problem with arithmetic using logarithms to avoid numerical underflow (take 2)

看过上面的内容并看过 softmax 归一化后，我试图在避免溢出的同时对向量进行归一化 -

如果我有一个数组x[1], x[2] x[3], x[4], ..., x[n]

对我来说，规范化形式的元素平方和为 1.0并且通过将每个元素除以获得sqrt(x[1]*x[1]+x[2]*x[2]+...+x[n]*x[n])

现在即使平方根小到可以放入浮点变量，平方和也可能溢出，所以我想可以做类似的事情s=(2*log(fabs(x[1]))+2*log(fabs(x[2]))+...+2*log(fabs(x[n])))/2

并将元素计算为

exp(log(fabs(x[1]))-s), ..., exp(log(fabs(x[n]))-s

但是

上面是不正确的，因为 log(A+B) 不是 log(A)+log(B) - 现在有没有办法进行向量归一化，从而更好地避免溢出？

Answer 1

代替

norm  = sqrt(x[1] * x[1] + ... + x[n] * x[n])

您可能希望在平方之前将向量的元素除以可能的最大值

max_x = max(x[1], ..., x[n])
y[1] = x[1] / max_x / n
...
y[n] = x[n] / max_x / n
norm = n * sqrt(y[1] * y[1] + ... + y[n] * y[n]) * max_x

y 向量的范数应等于或小于零。 n * max_x 的值仍然可能溢出，因此您也需要小心，以非溢出顺序执行操作。