machine-learning - 神经网络 : Calculating Error In Hidden Layers-6ren

machine-learning - 神经网络 : Calculating Error In Hidden Layers

转载作者：行者123 更新时间：2023-11-30 08:33:35

我是神经网络新手，正在尝试构建一个具有超过 1 个隐藏层的超简单神经网络。

在神经网络的训练阶段调整权重时，权重调整的程度部分取决于该神经元对下一层神经元贡献的“多少误差”。因此，我们需要知道下一层的误差。

计算起来很简单，只有 1 个隐藏层，因为我们的训练数据已经为我们提供了预期的输出，所以我们只需要使用输出层(简单地说，目标输出)。当存在多个隐藏层时，计算误差变得非常重要。也就是说，如果我们有 10 个隐藏层并且位于第 5 层，我们如何知道第 6 层的误差是多少？

谢谢

最佳答案

假设我们的神经网络输出值 $y_i$ 和实际的地面真相 $t_i$ 通过损失函数相关，例如均方误差(回归情况):

$E = \frac{1}{2} \sum_{i = 0}^{m} \left(t_i - y_i\right)^2$

地点:

$y_i &= f_{\ell}(W_{\ell}a_{\ell - 1} + b_{\ell}) \\ a_{\ell - 1} &= f_{\ell-1}(W_{\ell-1}a_{\ell - 2} + b_{\ell-1}) \\ \vdots \\ a_{1} = f_1(W_1a_0 + b_1) \\ a_{0} = x$

$W_{k}$ 和 $b_{k}$ 是图层 $k$ 的权重，和 $W_{k}$ 是应用于同一层所有神经元响应的激活函数。

为了从输出层传播模型权重的误差，我们只需在误差损失函数和取决于模型参数(权重或偏差)的因子之间应用链式法则。例如，让我们找到与损失函数和输出层权重相关的误差导数: $W_{k}$ 如下:

$\frac{\partial E}{\partial W_{\ell}} = \frac{\partial E}{\partial y} \cdot \frac{\partial y}{\partial W_{\ell}}$

$\frac{\partial E}{\partial y} = y - t$

$\frac{\partial y}{\partial W_{\ell}} = f_{\ell}'(W_{\ell}a_{\ell - 1} + b_{\ell}) a_{\ell - 1}^{T} \\$

正如您可以推断的那样，我们可以通过每次激活 $a_{i}$ 应用相同的过程来计算误差导数。直到网络的较低层。例如，让我们将误差反向传播到层 $\ell - 1$ :

$\frac{\partial E}{\partial W_{\ell - 1}} = \frac{\partial E}{\partial a_{\ell-1}} \cdot \frac{\partial a_{\ell-1}}{\partial W_{\ell - 1}}$

$\frac{\partial E}{\partial a_{\ell - 1}} = \frac{\partial E}{\partial a_{\ell}} \cdot \frac{\partial a_{\ell}}{\partial a_{\ell-1}}$

$\frac{\partial y}{\partial W_{\ell}} = f_{\ell}'(W_{\ell}a_{\ell - 1} + b_{\ell}) a_{\ell - 1}^{T} \\$

这个过程也可以应用于偏置，直到输入层之前的层 $a_{0}$ .

我希望这篇反向传播总结能让您对神经网络(在本例中为前馈神经网络)的实际实现有一些实际的了解。如果你想了解更多关于反向传播的详细信息，我邀请你咨询斯坦福大学的UFLDL tutorial反向传播:

另外，如果你想了解更多关于卷积神经网络的知识，它更适合计算机视觉应用，我推荐CS231n类(class)笔记(其中也有关于反向传播的类(class))，它们可以在 here 获得。 .

关于machine-learning - 神经网络 : Calculating Error In Hidden Layers，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/43554095/

文章推荐： python - Keras:batch_size 的类型错误

文章推荐： java - 将基于配置文件的属性文件解析为 Spring 测试

文章推荐： machine-learning - epoch 和训练步骤是一回事吗？

machine-learning - 如果不涉及 "unsupervised learning"，算法是否可以归类为 "learning"？
基本上，我的问题是，由于无监督学习是机器学习的一种，是否需要机器“学习”的某些方面并根据其发现进行改进？例如，如果开发了一种算法来获取未标记的图像并找到它们之间的关联，那么它是否需要根据这些关联来改进
machine-learning - 短语 "a machine learning algorithm learn a probability distribution"是什么意思？这里究竟发生了什么
生成模型和判别模型似乎可以学习条件 P(x|y) 和联合 P(x,y) 概率分布。但从根本上讲，我无法说服自己“学习概率分布”意味着什么。最佳答案这意味着您的模型要么充当训练样本的分布估计器，要么
scikit-learn - scikit-learn 中的成本敏感分析
是否有类似于的 scikit-learn 方法/类元成本在 Weka 或其他实用程序中实现的算法以执行常量敏感分析？最佳答案不，没有。部分分类器提供 class_weight和 sample_
machine-learning - Scikit-learn 支持迁移学习吗？
是否Scikit-learn支持迁移学习？请检查以下代码。型号 clf由 fit(X,y) 获取 jar 头型号clf2在clf的基础上学习和转移学习 fit(X2,y2) ? >>> from s
scikit-learn - Scikit Learn 分层交叉验证中的差异
我发现使用相同数据的两种交叉验证技术之间的分类性能存在差异。我想知道是否有人可以阐明这一点。方法一:cross_validation.train_test_split 方法 2:分层折叠。具有相同
scikit-learn - scikit-learn 中嵌套交叉验证的令人困惑的例子
我正在查看 scikit-learn 文档中的这个示例:http://scikit-learn.org/0.18/auto_examples/model_selection/plot_nested_c
scikit-learn - scikit-learn 中的哪些估计器不支持稀疏矩阵？
我想训练一个具有很多标称属性的数据集。我从一些帖子中注意到，要转换标称属性必须将它们转换为重复的二进制特征。另外据我所知，这样做在概念上会使数据集稀疏。我也知道 scikit-learn 使用稀疏矩阵
scikit-learn - 多标签分类的特征选择(scikit-learn)
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时，我收到此警告: 用户
scikit-learn - scikit-learn 默认使用哪种决策树算法？
有几种算法可以构建决策树，例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法？当我查看一些决策树 python 脚本时，它神奇地生成了带有
scikit-learn - 多标签分类的特征选择(scikit-learn)
我正在尝试在 scikit-learn (sklearn.feature_selection.SelectKBest) 中通过卡方方法进行特征选择。当我尝试将其应用于多标签问题时，我收到此警告: 用户
scikit-learn - scikit-learn 默认使用哪种决策树算法？
有几种算法可以构建决策树，例如 CART(分类和回归树)、ID3(迭代二分法 3)等 scikit-learn 默认使用哪种决策树算法？当我查看一些决策树 python 脚本时，它神奇地生成了带有
scikit-learn - scikit-learn 的进度条？
有没有办法让 scikit-learn 中的 fit 方法有一个进度条？是否可以包含自定义的类似 Pyprind 的内容？ ? 最佳答案如果您使用 verbose=1 初始化模型调用前 fit你应
reinforcement-learning - Q-Learning 收敛到最优策略
我正在使用基于 rlglue 的 python-rl q 学习框架。我的理解是，随着情节的发展，算法会收敛到一个最优策略(这是一个映射，说明在什么状态下采取什么行动)。问题 1:这是否意味着经过若
scikit-learn - scikit-learn 中交叉验证的一种标准错误规则
我正在尝试使用 grisSearchCV 在 scikit-learn 中拟合一些模型，并且我想使用“一个标准错误”规则来选择最佳模型，即从分数在 1 以内的模型子集中选择最简约的模型最好成绩的标准误
machine-learning - scikit learn 离散化分类数值数据
我正在尝试离散数据以进行分类。它们的值是字符串，我将它们转换为数字 0,1,2,3。这就是数据的样子(pandas 数据框)。我已将数据帧拆分为 dataLabel 和 dataFeatures L
machine-learning - 具有多项式朴素贝叶斯的大量类 (scikit-learn)
每当我开始拥有更多的类(1000 或更多)时，MultinominalNB 就会变得非常慢并且需要 GB 的 RAM。对于所有支持 .partial_fit()(SGDClassifier、Perce
machine-learning - scikit-learn 中一些感知器参数的解释
我需要使用感知器算法来研究一些非线性可分数据集的学习率和渐近误差。为了做到这一点，我需要了解构造函数的一些参数。我花了很多时间在谷歌上搜索它们，但我仍然不太明白它们的作用或如何使用它们。给我带来更
machine-learning - scikit learn 中序数数据和分类数据作为标签的区别
我知道作为功能 ordinal data could be assigned arbitrary numbers and OneHotEncoding could be done for catego
machine-learning - scikit learn 对停用词进行分类
这是一个示例，其中有逐步的过程使系统学习并对输入数据进行分类。它对给定的 5 个数据集域进行了正确分类。此外，它还对停用词进行分类。例如输入:docs_new = ['上帝就是爱', '什么在哪
machine-learning - scikit-learn 中多标签模型的得分优于具有二进制标签的相同模型
我有一个 scikit-learn 模型，它简化了一点，如下所示: clf1 = RandomForestClassifier() clf1.fit(data_training, non_binary

行者123

个人简介

我是一名优秀的程序员,十分优秀！

作者热门文章

滴滴打车优惠券免费领取

全站热门文章

首页

博学

6Ren·AI

商城

machine-learning - 神经网络 : Calculating Error In Hidden Layers