python - 任何神经网络体系结构的梯度下降的通用实现

Question

Closed. This question needs to be more focused。它当前不接受答案。
                            
                        
                    
                
                            
                                
                
                        
                            
                        
                    
                        
                            想改善这个问题吗？更新问题，使其仅通过 editing this post专注于一个问题。
                        
                        7个月前关闭。
                                                                                            
                
        
我搜索了有关实现梯度下降算法以优化任何神经网络体系结构的信息。不幸的是，我发现的所有教程和代码仅适用于特定的神经网络体系结构。例如，一个输入层，1个隐藏层和1个输出层。如果这种架构发生了变化，则必须更改算法实现。

我想知道如何在NumPy中实现通用的梯度下降算法，以便无论网络体系结构如何，它都可以更新所有网络权重。我知道这种算法是在Sklearn之类的库中实现的，但是它很复杂。我想知道其背后的想法，以便可以从头开始使用NumPy实施它。

最佳答案

您是否检查过Michael Nielsen的Neural Networks and Deep Learning？他介绍了如何仅使用NumPy构建神经网络，并且他的实现允许您使用可变数量的层和神经元。 Here's代码存储库。网络文件在不同的优化级别上显示了不同的阶段。我希望这是有帮助的。

更新：我只记得Nielsen使用随机梯度下降法。但是，SGD的实现仍然与通用版本非常相似，不同之处在于，对于SGD，您每次更新仅使用一部分训练数据。

关于python - 任何神经网络体系结构的梯度下降的通用实现，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/57241827/

上一篇：python - 如何在 tkinter 中单击按钮后更新 Canvas 上的文本

下一篇：python - 如何在Kivy中绘制平滑的线条

相关文章：

python - TensorFlow:使用自己的数据集实现单层感知器/多层感知器

matlab - 错误使用 bsxfun 不支持混合整数类输入

python - 如何迭代 Tensorflow 中的张量？

python - e2fsprogs/e2fslibs 是否有可用的 python bindinds？

python - 在 svg 内的路径中查找 XPath

python - 计算线性回归的斜率和截距误差

python - 将 c++ 双指针传递给 python

python - 无法在 Conda Env 中导入 PyTorch

python - 来自 torch._C import * ImportError : DLL load failed: The specified module could not be found

矩阵 x[i,j] 和 x[i][j] 两种形式的python区别

Answer 1

您是否检查过Michael Nielsen的Neural Networks and Deep Learning？他介绍了如何仅使用NumPy构建神经网络，并且他的实现允许您使用可变数量的层和神经元。 Here's代码存储库。网络文件在不同的优化级别上显示了不同的阶段。我希望这是有帮助的。

更新：我只记得Nielsen使用随机梯度下降法。但是，SGD的实现仍然与通用版本非常相似，不同之处在于，对于SGD，您每次更新仅使用一部分训练数据。