python - softmax python计算

Question

我是机器学习的新手，正在学习如何在 python 中实现 softmax，我正在关注以下线程

Softmax function - python

我在做一些分析，如果我们有一个数组

batch = np.asarray([[1000,2000,3000,6000],[2000,4000,5000,6000],[1000,2000,3000,6000]])
batch1 = np.asarray([[1,2,2,6000],[2,5,5,3],[3,5,2,1]])

并尝试通过以下方式实现 softmax(如上面链接中所述):

1) 由 Pab Torre 分享:

np.exp(z) / np.sum(np.exp(z), axis=1, keepdims=True)

2) 在最初的问题中被问到:

e_x = np.exp(x - np.max(x))
return e_x / e_x.sum() 

对于这两个，我都遇到了错误(值超出范围)，所以我尝试使用规范化并尝试运行它

x= np.mean(batch1)
y = np.std(batch1)
e_x = np.exp((batch1 - x)/y)
j = e_x / e_x.sum(axis = 0)

所以我的问题是，这是我可以实现的方式吗？如果不是，我该如何处理上述情况？

提前致谢

Answer 1

2) 中的方法在数值上相当稳定。最有可能的是，错误是由其他线路产生的。请参阅这些示例(所有工作均无错误):

def softmax(x):
  e_x = np.exp(x - np.max(x))
  return e_x / e_x.sum()

print softmax(np.array([0, 0, 0, 0]))
print softmax(np.array([1000, 2000, 3000, 6000]))
print softmax(np.array([2000, 4000, 5000, 6000]))
print softmax(np.array([1000, 2000, 3000, 6000]))
print softmax(np.array([2000, 2000, 2001, 2000]))
print softmax(np.array([1, 2, 2, 600000]))
print softmax(np.array([1, 2, 2, 60000000]))
print softmax(np.array([1, 2, 2, -60000000]))

您的替代实现方案使所有值都更接近 0，从而降低了概率。例如:

def alternative_softmax(x):
  mean = np.mean(x)
  std = np.std(x)
  norm = (x - mean) / std
  e_x = np.exp(norm)
  return e_x / e_x.sum(axis=0)


print softmax(np.array([1, 2, 2, 6000]))
print softmax(np.array([2, 5, 5, 3]))
print softmax(np.array([3, 5, 2, 1]))
print

batch = np.asarray([[1, 2, 2, 6000],
                    [2, 5, 5, 3],
                    [3, 5, 2, 1]])
print alternative_softmax(batch)

输出是:

[ 0.  0.  0.  1.]
[ 0.02278457  0.45764028  0.45764028  0.06193488]
[ 0.11245721  0.83095266  0.0413707   0.01521943]

[[ 0.33313225  0.33293125  0.33313217  0.94909178]
 [ 0.33333329  0.33353437  0.33373566  0.02546947]
 [ 0.33353446  0.33353437  0.33313217  0.02543875]]

如您所见，输出非常不同，并且行的总和甚至不为一。