deep-learning - LSTM神经网络中的损失函数

Question

我不明白这些网络中最小化了什么。
有人可以解释一下当 LSTM 网络中的损失变小时会发生什么数学问题吗？

model.compile(loss='categorical_crossentropy', optimizer='adam')

Answer 1

来自 keras documentation , categorical_crossentropy只是多类对数损失。对数损失的数学和理论解释 here .

基本上，LSTM 为单词(或字符，取决于您的模型)分配标签，并通过惩罚单词(或字符)序列中不正确的标签来优化模型。该模型采用输入单词或字符向量，并尝试根据训练示例猜测下一个“最佳”单词。分类交叉熵是一种衡量猜测好坏的定量方法。随着模型在训练集上迭代，它在猜测下一个最佳单词(或字符)时犯的错误更少。