python - 用神经网络和 ReLU 逼近正弦函数

Question

我正在尝试使用神经网络 (Keras) 逼近正弦函数。

是的，我阅读了相关的帖子:)

• Link 1

• Link 2

• Link 3

使用四个带 sigmoid 的隐藏神经元和一个带线性激活的输出层效果很好。

但也有一些设置提供的结果对我来说似乎很奇怪。

因为我刚开始工作，所以我对事情发生的原因和原因很感兴趣，但到目前为止我还想不通。

# -*- coding: utf-8 -*-

import numpy as np
np.random.seed(7)

from keras.models import Sequential
from keras.layers import Dense
import pylab as pl
from sklearn.preprocessing import MinMaxScaler

X = np.linspace(0.0 , 2.0 * np.pi, 10000).reshape(-1, 1)
Y = np.sin(X)

x_scaler = MinMaxScaler()
#y_scaler = MinMaxScaler(feature_range=(-1.0, 1.0))
y_scaler = MinMaxScaler()

X = x_scaler.fit_transform(X)
Y = y_scaler.fit_transform(Y)

model = Sequential()
model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='relu'))
# model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='sigmoid'))
# model.add(Dense(4, input_dim=X.shape[1], kernel_initializer='uniform', activation='tanh'))
model.add(Dense(1, kernel_initializer='uniform', activation='linear'))

model.compile(loss='mse', optimizer='adam', metrics=['mae'])

model.fit(X, Y, epochs=500, batch_size=32, verbose=2)

res = model.predict(X, batch_size=32)

res_rscl = y_scaler.inverse_transform(res)

Y_rscl = y_scaler.inverse_transform(Y)

pl.subplot(211)
pl.plot(res_rscl, label='ann')
pl.plot(Y_rscl, label='train')
pl.xlabel('#')
pl.ylabel('value [arb.]')
pl.legend()
pl.subplot(212)
pl.plot(Y_rscl - res_rscl, label='diff')
pl.legend()
pl.show()

这是四个隐藏神经元 (ReLU) 和线性输出激活的结果。

为什么结果采用 ReLU 的形状？

这与输出归一化有关系吗？

Answer 1

这里有两件事:

1. 您的网络非常浅薄。只有 4 个带有 relu 的神经元使得其中几个神经元极有可能完全饱和。这可能就是您的网络结果看起来像那样的原因。尝试使用 he_normal 或 he_uniform 作为初始化程序来克服这个问题。
2. 在我看来，您的网络对于这项任务来说太小了。我肯定会通过在网络中引入更多的神经元和层来增加网络的深度和宽度。如果 sigmoid 具有与 sin 函数相似的形状，这可能工作正常 - 但如果是 relu，您确实需要更大的网络.