machine-learning - 使用机器学习算法数据结构来存储信息(内存)

Question

DISCLAIMER : I'm pretty new to machine learning field, so forgive me if my questions are somehow naive ... I already searched on Internet about this topic and find nothing interesting so I am asking here ....

我想知道是否可以将机器学习算法视为一种存储数据的方式？有些程序“包含” PI 的千位小数(例如 https://www.quora.com/What-is-the-smallest-C-program-generating-pi-without-using-the-math-library ):在某种程度上，它是 PI 的前千位小数的“压缩”版本，对吗？

机器学习(例如深度神经网络)似乎以同样的方式存储信息。我们可以测量深度神经网络中存储了多少位吗？我们可以使用 ML 算法数据结构来压缩信息并在以后检索它(即使它不是 100% 准确)？ ...

是否有(不太技术性的)论文讨论这些可能性？

谢谢:)

Answer 1

在您发布的链接中，存储了 PI 的完整(无限长)信息，而不仅仅是 1000 位小数。但它需要无限的时间/迭代才能获得全部；-)。

对于你的问题:就像您提到的，学习器/分类器存储有关您训练它们的数据的信息。但它们的目的不是检索原始数据，而是对新数据进行分类/评估。所以我谨慎地说:“不，我们不会简单地用人工智能算法压缩数据，并且无法恢复原始数据”。

一个特殊情况是 K-Nearest-Neighbor算法。在这里您可以恢复原始数据，但那是因为它没有压缩，只是以超维数据点的形式保存。

您的问题中最难的部分是我们如何量化分类器(深度神经网络)中存储的信息。如果您有Hopfield-Network (它保存并识别图像/图案。但不是深度神经网络)您可以通过计算保存的图案及其大小来量化信息。对于决策树，您可以计算规则(以及每个规则的信息增益)。对于神经网络，您可以获取神经元的数量，也可以获取每个或全部神经元的熵。但正如您所看到的，指定存储在训练有素的学习算法中的信息是一个非常难以回答的问题。

希望我能回答您的一些问题。

干杯