python - 在 python 中使用 softplus 函数避免溢出

Question

我正在尝试实现以下 softplus 功能:

log(1 + exp(x))

我尝试过使用 math/numpy 和 float64 作为数据类型，但每当 x 变得太大(例如 x = 1000)时，结果就是 inf.

你能帮助我如何成功地处理这个函数吗？

Answer 1

TLDR:

import numpy as np
import math

def softplus_np(x): return np.log1p(np.exp(-np.abs(x))) + np.maximum(x, 0)
def softplus_math(x): return math.log1p(math.exp(-abs(x))) + max(x, 0)

解释:有一个可以使用的关系:

log(1+exp(x)) = log(1+exp(x)) - log(exp(x)) + x = log(1+exp(-x)) + x

所以一个安全的实现，以及数学上合理的，将是:

log(1+exp(-abs(x))) + max(x,0)

这适用于 math 和 numpy 函数(使用例如:np.log、np.exp , np.abs, np.maximum).