machine-learning - 机器学习中的迭代是什么意思？

Question

我不明白机器学习中的迭代的概念。由于编程是确定性(就像每次运行时都做同样的事情)，如何通过反复运行相同的算法来提高准确性再来一遍？

这个迭代概念与RNN(循环神经网络)有什么关系 - 在某种意义上它们多次反馈给相同的中子 - 模型或>SGD(随机梯度下降)-他们采用相同的训练数据样本来提高效率-？

谢谢

编辑:我所说的迭代的意思是在我在这个网站上找到的这个玩具应用程序中: https://blog.kovalevskyi.com/rnn-based-chatbot-for-6-hours-b847d2d92c43

作者所做的是使用RNN创建了一个聊天机器人。我无法理解的是，由于每次运行相同的算法，增加迭代次数如何提高预测的准确性。

但是从@Spirit_Dongdong的帖子来看，我对迭代的理解似乎是错误的(因为每次迭代中所做的事情可能是错误的)，因此，我试图澄清迭代的含义以及迭代中所做的事情.

Answer 1

文章讨论的是训练迭代。这是因为在训练神经网络时，我们使用迭代算法，通常是随机梯度下降。

这样做是为了解决优化问题，最小化函数，但我们不知道最小化该函数的参数值。然后我们使用梯度作为参数移动方向的信息，但它并没有告诉我们移动多少，所以我们移动固定的量(步长或学习率)。

考虑到所有这些，如果我们向梯度方向移动一步，我们就更接近解(最小值)，但我们只是移动了一点，然后我们再移动一点，依此类推。这些是迭代。当您增加迭代次数时，您会更接近最小值和最佳参数集，而这些正是性能提高的原因。

您是对的，正在运行相同的算法，但输入不同。输入不断变化，因为参数的当前值在一次迭代后发生变化。