machine-learning - 我对求权重的一般理解是否正确？

Question

我开始了一门深度学习类(class)。我试图举一个例子来向自己解释如何从数学上找到权重。如果我下面写的内容是无稽之谈，我会很高兴听到解释。谢谢。

因此，对于给定的图像，我们执行WX+b。我们得到一些向量Y，然后根据将其与所需的标签向量L进行比较。 。我假设我们用“余弦相似度”计算D。为了简单起见S(Y)==Y。所以我们要做的是计算 所以这将是一个。假设我们有字母“a”的图像X和两个标签(“a”，“b”)。然后 。我们想要计算 W 和 b ，我们将得到这样的向量 当我们将其插入时我们会得到零。我们将 X 转换为向量 。由于我们有 2 个标签，并且 X 的大小为 9，因此 W 和 b 如下: 。所以，我们得到: 。这给我们提供了以下方程组: 。所以，现在我们需要解决以下 .

如果我上面写的不是废话，我不太明白求最小值应用在哪里？

Answer 1

在深度学习中，寻找最小均值可以最小化交叉熵函数。交叉熵象征着网络的“损失”。因此，我们尝试通过改变网络的权重和偏差来产生最小化交叉熵损失的输出。因此我们最小化 D(S,L)。