memory - 神经网络/机器学习内存存储

Question

我目前正在尝试建立一个用于信息提取的神经网络，并且我对神经网络的(基本)概念非常熟悉，除了一个似乎让我感到困惑的概念。这可能很明显，但我似乎无法找到有关它的信息。

神经网络在哪里/如何存储它们的内存？ (/机器学习)

网上有很多关于神经网络和机器学习的信息，但它们似乎都跳过了内存存储。例如重新启动程序后，它在哪里找到它的内存来继续学习/预测？网上的许多示例似乎并没有“保留”内存，但我无法想象这对于实际/大规模部署来说是“安全的”。

我很难说出我的问题，所以如果我需要详细说明，请告诉我。谢谢，

---

编辑: - 跟进下面的答案

Every Neural Network will have edge weights associated with them. These edge weights are adjusted during the training session of a Neural Network.

这正是我苦苦挣扎的地方，我应该/应该如何看待这个二级内存？这像RAM吗？这似乎不合逻辑..我问的原因是因为我没有遇到在线定义或指定此辅助内存的示例(例如在更具体的东西中，例如 XML 文件，甚至可能是一个巨大的数组)。

Answer 1

内存存储是特定于实现的，而不是算法本身的一部分。考虑什么你需要存储而不是如何存储它可能更有用。

考虑一个 3 层多层感知器(全连接)，在输入层、隐藏层和输出层中分别具有 3、8 和 5 个节点(在本次讨论中，我们可以忽略偏差输入)。那么表示所需权重的一种合理(且有效)的方法是使用两个矩阵:一个用于输入和隐藏层之间权重的 3x8 矩阵和一个用于权重的 8x5 矩阵在隐藏层和输出层之间。

对于此示例，您需要存储权重和网络形状(每层的节点数)。您可以通过多种方式存储此信息。它可以在 XML 文件或用户定义的二进制文件中。如果您使用的是 python，则可以将两个矩阵保存到二进制 .npy 文件中，并在文件名中编码网络形状。如果您实现了算法，则取决于您如何存储持久数据。另一方面，如果您使用的是现有的机器学习软件包，它可能具有自己的 I/O 功能，用于存储和加载经过训练的网络。