- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我在neuralnetworksanddeeplearning.com的帮助下用python编写了神经网络程序。其中我随机初始化了隐藏层权重 (784,100) 和输出层权重 (100,10)。算法正在研究基于小批量的理论和正则化与 mnist.pkl.gz 数据集的过度拟合。我使用大小为 10 的小批量,学习率(eta)=3,正则化参数=2.5。运行程序后,其准确性先增加然后减少......所以请帮助我如何使其更好以获得更高的准确性。以下是算法的迭代。提前致谢..
>>> stochastic(training_data,10,20,hiddenW,outW,hiddenB,outB,3,test_data,2.5)
Epoch 0 correct data: 9100.0/10000
Total cost of test data [ 307.75991542]
Epoch 1 correct data: 9136.0/10000
Total cost of test data [ 260.61199829]
Epoch 2 correct data: 9233.0/10000
Total cost of test data [ 244.9429907]
Epoch 3 correct data: 9149.0/10000
Total cost of test data [ 237.08391208]
Epoch 4 correct data: 9012.0/10000
Total cost of test data [ 227.14709858]
Epoch 5 correct data: 8714.0/10000
Total cost of test data [ 215.23668711]
Epoch 6 correct data: 8694.0/10000
Total cost of test data [ 201.79958056]
Epoch 7 correct data: 8224.0/10000
Total cost of test data [ 193.37639124]
Epoch 8 correct data: 7915.0/10000
Total cost of test data [ 183.83249811]
Epoch 9 correct data: 7615.0/10000
Total cost of test data [ 166.59631548]
# forward proppagation with with bais 3 para
def forward(weight,inp,b):
val=np.dot(weight.T,inp)+b
return val
# sigmoid function
def sigmoid(x):
val=1.0/(1.0+np.exp(-x))
return val
# Backpropagation for gradient check
def backpropagation(x,weight1,weight2,bais1,bais2,yTarget):
hh=forward(weight1,x,bais1)
hhout=sigmoid(hh)
oo=forward(weight2,hhout,bais2)
oout=sigmoid(oo)
ooe=-(yTarget-oout)*(oout*(1-oout))
hhe=np.dot(weight2,ooe)*(hhout*(1-hhout))
a2=np.dot(hhout,ooe.T)
a1=np.dot(x,hhe.T)
b1=hhe
b2=ooe
return a1,a2,b1,b2
def totalCost(data,weight1,weight2,bais1,bais2,lmbda):
m=len(data)
cost=0.0
for x,y in data:
hh=forward(weight1,x,bais1)
hhout=sigmoid(hh)
oo=forward(weight2,hhout,bais2)
oout=sigmoid(oo)
c=sum(-y*np.log(oout)-(1-y)*np.log(1-oout))
cost=cost+c/m
cost=cost+0.5*(lmbda/m)*(sum(map(sum,(weight1**2)))+sum(map(sum,(weight2**2))))
return cost
def stochastic(tdata,batch_size,epoch,w1,w2,b1,b2,eta,testdata,lmbda):
n=len(tdata)
for j in xrange(epoch):
random.shuffle(tdata)
mini_batches = [tdata[k:k+batch_size]for k in xrange(0, n, batch_size)]
for minibatch in mini_batches:
w1,w2,b1,b2=updateminibatch(minibatch,w1,w2,b1,b2,eta,lmbda)
print 'Epoch {0} correct data: {1}/{2}'.format(j,evaluate(testdata,w1,w2,b1,b2),len(testdata))
print 'Total cost of test data {0}'.format(totalCost(testdata,w1,w2,b1,b2,lmbda))
return w1,w2,b1,b2
def updateminibatch(data,w1,w2,b1,b2,eta,lmbda):
n=len(training_data)
q1=np.zeros(w1.shape)
q2=np.zeros(w2.shape)
q3=np.zeros(b1.shape)
q4=np.zeros(b2.shape)
for xin,yout in data:
delW1,delW2,delB1,delB2=backpropagation(xin,w1,w2,b1,b2,yout)
q1=q1+delW1
q2=q2+delW2
q3=q3+delB1
q4=q4+delB2
w1=(1-eta*(lmbda/n))*w1-(eta/len(data))*q1
w2=(1-eta*(lmbda/n))*w2-(eta/len(data))*q2
b1=b1-(eta/len(data))*q3
b2=b2-(eta/len(data))*q4
return w1,w2,b1,b2
def evaluate(testdata,w1,w2,b1,b2):
i=0
z=np.zeros(len(testdata))
for x,y in testdata:
h=forward(w1,x,b1)
hout=sigmoid(h)
o=forward(w2,hout,b2)
out=sigmoid(o)
p=np.argmax(out)
if (p==y):
a=int(p==y)
z[i]=a
i=i+1
return sum(z)
最佳答案
训练机器学习模型时,必须注意不要过度拟合训练数据。
要了解数据是否过度拟合,在训练期间使用 3 组不同的数据很有用:
验证集尤其非常有用。事实上,如果你过度拟合数据,你可能在训练集上有很好的表现,但在这个集上的准确性很低。 (-> 在这种情况下,您的模型对训练数据过于专业,但在预测新数据方面可能准确性较低。)因此,当验证集的准确性开始下降时,就是停止训练的时刻,因为您已经达到了可能的最佳准确性。
如果您想提高模型的准确性,您可以使用更多的数据进行训练,或者,如果您没有或准确性没有提高,则应该更改模型,例如在神经网络中添加更多层。
关于machine-learning - 神经网络的准确性正在下降,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/42690582/
这与 Payubiz payment gateway sdk 关系不大一体化。但是,主要问题与构建项目有关。 每当我们尝试在模拟器上运行应用程序时。我们得到以下失败: What went wrong:
我有一个现有的应用程序,其中包含在同一主机上运行的 4 个 docker 容器。它们已使用 link 命令链接在一起。 然而,在 docker 升级后,link 行为已被弃用,并且似乎有所改变。我们现
在 Internet 模型中有四层:链路 -> 网络 -> 传输 -> 应用程序。 我真的不知道网络层和传输层之间的区别。当我读到: Transport layer: include congesti
很难说出这里要问什么。这个问题模棱两可、含糊不清、不完整、过于宽泛或夸夸其谈,无法以目前的形式得到合理的回答。如需帮助澄清此问题以便重新打开,visit the help center . 关闭 1
前言: 生活中,我们在上网时,打开一个网页,就可以看到网址,如下: https😕/xhuahua.blog.csdn.net/ 访问网站使用的协议类型:https(基于 http 实现的,只不过在
网络 避免网络问题降低Hadoop和HBase性能的最重要因素可能是所使用的交换硬件,在项目范围的早期做出的决策可能会导致群集大小增加一倍或三倍(或更多)时出现重大问题。 需要考虑的重要事项:
网络 网络峰值 如果您看到定期的网络峰值,您可能需要检查compactionQueues以查看主要压缩是否正在发生。 有关管理压缩的更多信息,请参阅管理压缩部分的内容。 Loopback IP
Pure Data 有一个 loadbang 组件,它按照它说的做:当图形开始运行时发送一个 bang。 NoFlo 的 core/Kick 在其 IN 输入被击中之前不会发送其数据,并且您无法在 n
我有一台 Linux 构建机器,我也安装了 minikube。在 minikube 实例中,我安装了 artifactory,我将使用它来存储各种构建工件 我现在希望能够在我的开发机器上做一些工作(这
我想知道每个视频需要多少种不同的格式才能支持所有主要设备? 在我考虑的主要设备中:安卓手机 + iPhone + iPad . 对具有不同比特率的视频进行编码也是一种好习惯吗? 那里有太多相互矛盾的信
我有一个使用 firebase 的 Flutter Web 应用程序,我有两个 firebase 项目(dev 和 prod)。 我想为这个项目设置 Flavors(只是网络没有移动)。 在移动端,我
我正在读这篇文章Ars article关于密码安全,它提到有一些网站“在传输之前对密码进行哈希处理”? 现在,假设这不使用 SSL 连接 (HTTPS),a.这真的安全吗? b.如果是的话,你会如何在
我试图了解以下之间的关系: eth0在主机上;和 docker0桥;和 eth0每个容器上的接口(interface) 据我了解,Docker: 创建一个 docker0桥接,然后为其分配一个与主机上
我需要编写一个java程序,通过网络将对象发送到客户端程序。问题是一些需要发送的对象是不可序列化的。如何最好地解决这个问题? 最佳答案 发送在客户端重建对象所需的数据。 关于java - 不可序列化对
所以我最近关注了this有关用 Java 制作基本聊天室的教程。它使用多线程,是一个“面向连接”的服务器。我想知道如何使用相同的 Sockets 和 ServerSockets 来发送对象的 3d 位
我想制作一个系统,其中java客户端程序将图像发送到中央服务器。中央服务器保存它们并运行使用这些图像的网站。 我应该如何发送图像以及如何接收它们?我可以使用同一个网络服务器来接收和显示网站吗? 最佳答
我正在尝试设置我的 rails 4 应用程序,以便它发送电子邮件。有谁知道我为什么会得到: Net::SMTPAuthenticationError 534-5.7.9 Application-spe
我正在尝试编写一个简单的客户端-服务器程序,它将客户端计算机连接到服务器计算机。 到目前为止,我的代码在本地主机上运行良好,但是当我将客户端代码中的 IP 地址替换为服务器计算机的本地 IP 地址时,
我需要在服务器上并行启动多个端口,并且所有服务器套接字都应在 socket.accept() 上阻塞。 同一个线程需要启动客户端套接字(许多)来连接到特定的 ServerSocket。 这能实现吗?
我的工作执行了大约 10000 次以下任务: 1) HTTP 请求(1 秒) 2)数据转换(0.3秒) 3)数据库插入(0.7秒) 每次迭代的总时间约为 2 秒,分布如上所述。 我想做多任务处理,但我
我是一名优秀的程序员,十分优秀!