- android - 多次调用 OnPrimaryClipChangedListener
- android - 无法更新 RecyclerView 中的 TextView 字段
- android.database.CursorIndexOutOfBoundsException : Index 0 requested, 光标大小为 0
- android - 使用 AppCompat 时,我们是否需要明确指定其 UI 组件(Spinner、EditText)颜色
我正在 matlab 中制作一个具有反向传播的 MLP 神经网络。问题是,它似乎无法很好地处理函数中的曲线,也无法很好地与值进行缩放。例如,它可以达到 cos(x) 的 80%,但如果我输入 100*cos(x),它根本不会训练。
更奇怪的是,它可以很好地训练某些功能,而其他功能则根本不起作用。例如:训练有素:http://img515.imageshack.us/img515/2148/coscox3.jpg
不太好:http://img252.imageshack.us/img252/5370/cos2d.jpg (长时间放置的光滑度)
错误的结果,像这样卡住:http://img717.imageshack.us/img717/2145/ex2ug.jpg
这是我要实现的算法:
http://img594.imageshack.us/img594/9590/13012012001.jpg
http://img27.imageshack.us/img27/954/13012012002.jpg
这是我的实现:
close all;clc;
j=[4,3,1]; %number neurons in hidden layers and output layer
i=[1,j(1),j(2)];
X=0:0.1:pi;
d=cos(X);
%-----------Weights------------%
%-----First layer weights------%
W1p=rand([i(1)+1,j(1)]);
W1p=W1p/sum(W1p(:));
W1=rand([i(1)+1,j(1)]);
W1=W1/sum(W1(:));
%-----Second layer weights------%
W2p=rand([i(2)+1,j(2)]);
W2p=W2p/sum(W2p(:));
W2=rand([i(2)+1,j(2)]);
W2=W2/sum(W2(:));
%-----Third layer weights------%
W3p=rand([i(3)+1,j(3)]);
W3p=W3p/sum(W3p(:));
W3=rand([i(3)+1,j(3)]);
W3=W3/sum(W3(:));
%-----------/Weights-----------%
V1=zeros(1,j(1));
V2=zeros(1,j(2));
V3=zeros(1,j(3));
Y1a=zeros(1,j(1));
Y1=[0 Y1a];
Y2a=zeros(1,j(2));
Y2=[0 Y2a];
O=zeros(1,j(3));
e=zeros(1,j(3));
%----Learning and forgetting factor-----%
alpha=0.1;
etha=0.1;
sortie=zeros(1,length(X));
while(1)
n=randi(length(X),1);
%---------------Feed forward---------------%
%-----First layer-----%
X0=[-1 X(:,n)];
V1=X0*W1;
Y1a=tanh(V1/2);
%----Second layer-----%
Y1=[-1 Y1a];
V2=Y1*W2;
Y2a=tanh(V2/2);
%----Output layer-----%
Y2=[-1 Y2a];
V3=Y2*W3;
O=tanh(V3/2);
e=d(n)-O;
sortie(n)=O;
%------------/Feed Forward-----------------%
%------------Backward propagation---------%
%----Output layer-----%
delta3=e*0.5*(1+O)*(1-O);
W3n=W3+ alpha*(W3-W3p) + etha * delta3 * W3;
%----Second Layer-----%
delta2=zeros(1,length(Y2a));
for b=1:length(Y2a)
delta2(b)=0.5*(1-Y2a(b))*(1+Y2a(b)) * sum(delta3*W3(b+1,1));
end
W2n=W2 + alpha*(W2-W2p)+ (etha * delta2'*Y1)';
%----First Layer-----%
delta1=zeros(1,length(Y1a));
for b=1:length(Y1a)
for m=1:length(Y2a)
delta1(b)=0.5*(1-Y1a(b))*(1+Y1a(b)) * sum(delta2(m)*W2(b+1,m));
end
end
W1n=W1+ alpha*(W1-W1p)+ (etha * delta1'*X0)';
W3p=W3;
W3=W3n;
W2p=W2;
W2=W2n;
W1p=W1;
W1=W1n;
figure(1);
plot(1:length(d),d,1:length(d),sortie);
drawnow;
end
我的问题是,我该怎么做才能纠正它?到目前为止,我的猜测是,我要么在反向传播中有问题,特别是在计算增量和权重方面。或者我的权重初始化错误(太小,或者不依赖于初始输入)。
最佳答案
我不是该领域的专家,但有一些使用基于 Matlab 和 Java 的神经网络系统的经验。
我可以建议使用工具箱可以帮助你,它帮助了我认识的其他人。
我可以提供几点信息:
不要指望神经网络适用于所有训练数据,有时数据太复杂而无法以这种方式分类
NN 的格式将对收敛性能产生巨大影响
最后:
关于matlab - MLP 神经网络未正确训练,可能收敛到局部最小值,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8860506/
我想使用简单的 MLP 模型进行迁移学习。首先,我在大数据上训练 1 个隐藏层前馈网络: net = Sequential() net.add(Dense(500, input_dim=2048, k
最近我正在使用 Tensorflow。我正在探索如何在 Tensorflow 中实现多层感知器。 我在网上学习了很多教程。他们中的大多数使用一两个隐藏层。一个简单的例子取自 here def forw
我对机器学习非常陌生,正在尝试实现 MLP,但是成本函数似乎在达到全局最小值之前就达到了局部最小值。我将成本绘制为迭代函数(包括 0 值,以免被 y 轴的起始位置所迷惑)。 这是我尝试使用的代码: i
以下是我的 MLP 模型, layers = [10,20,30,40,50] model = keras.models.Sequential() #Stacking Layers model.add
我是机器学习的新手,我正在开发一个 python 应用程序,该应用程序使用数据集对扑克牌进行分类,我将发布片段。似乎效果不太好。它无法正确对手进行分类。我收到以下错误 ", line 298, in
我有这样的数据 有 29 列,我必须预测其中的 winPlacePerc(数据帧的最末端)在 1 之间(高百分比)到 0(低百分比) 在 29 列中,25 是数字 数据 3 是 ID(对象) 1 是
您好,我正在尝试修改 mnist 示例以使其与我的数据集相匹配。我只尝试使用 mlp 示例,但它给出了一个奇怪的错误。 数据集是一个有 2100 行和 17 列的矩阵,输出应该是 16 个可能的类别之
我在 Dlib 中创建了一个多层感知器网络: mlp::kernel_1a_c net(2,5); 输入层有 2 个节点,第一个隐藏层有 5 个节点。该网络是否已经包含偏置节点?还是必须自己添加? 最
我正在 matlab 中制作一个具有反向传播的 MLP 神经网络。问题是,它似乎无法很好地处理函数中的曲线,也无法很好地与值进行缩放。例如,它可以达到 cos(x) 的 80%,但如果我输入 100*
我是 OpenCV 世界和神经网络的新手,但我有一些 C++/Java 编码经验。 我创建了我的第一个 ANN MLP 并学习了 XOR: #include #include #include
给定输入特征,仅原始数字: tensor([0.2153, 0.2190, 0.0685, 0.2127, 0.2145, 0.1260, 0.1480, 0.1483, 0.1489,
我正在尝试使用简单的时间序列预测。给定数量的输入(1 分钟滴答) Net 应该尝试预测下一个。我用不同的设置训练了 3 个网络来说明我的问题: 在右侧,您可以看到 3 个训练器 MLP - 随机命名和
我正在运行 MLP 将一组值分为 10 个不同的类别。 简单来说,我有一个声纳,它可以提供 400 个物体的“读数”。每个读数都是 1000 个浮点值的列表。 我已扫描了总共 100 个对象,想要对它
我正在创建一个简单的神经网络,其中有一个隐藏层用于分类。 我的输入数据集已准备好并保存在 .t7 文件中。 input = { data : DoubleTensor - size: 1400x1
我设置了以下参数: parameter_space = { 'hidden_layer_sizes': [(sp_randint.rvs(100,600,1),sp_randint.rvs(1
我正在使用机器学习制作一个国际象棋引擎,但在调试它时遇到了问题。我需要帮助找出我的程序出了什么问题,如果有任何帮助,我将不胜感激。 我进行了研究,并从多个成功的项目中借鉴了想法。这个想法是使用强化学习
我正在学习机器学习,我看到一些 Material 表明MLP(多层感知器)可能会陷入局部最小值。我想通过做一些实验来学习,但我在网上搜索了具体的例子,但找不到任何例子。谁能告诉我在哪里可以找到可以由我
我(有点像初学者)在时间序列数据应用程序上尝试使用 Keras,我创建了一个回归模型,然后将其保存以在不同的 Python 脚本上运行。 我正在处理的时间序列数据是每小时数据,我使用 Keras 中保
我尝试使用 keras(支持 tensorflow )创建一个神经网络。我有 4 个输入变量和 2 个输出变量:不可用 我想对不可用的测试集进行预测。 这是我的代码: from keras impor
我使用 theano 编写了一个 MLP 分类器。使用反向传播算法的训练函数如下: self.weights=[theano.shared(numpy.random.random((network.a
我是一名优秀的程序员,十分优秀!