machine-learning - 机器学习中的训练步骤时间是多少？

Question

论文中:

TensorFlow: A system for large-scale machine learning (Martín Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen...)

术语“步数时间”或“训练步数时间”是什么意思？为了简单起见，为什么不直接使用火车时间呢？

Answer 1

在神经网络场景中，纪元可以定义为所有训练示例的单个前向传递和后向传递。我们不会立即将所有神经元输入到我们的网络中。相反，我们选择一批神经元(小批量)并将它们输入。我们向前和向后处理一小部分训练数据。我们这样做是为了执行随机梯度下降，并防止我们的网络过度拟合。个人训练步骤时间和总训练时间之间存在差异。例如，如果您的网络中有 30 个训练步骤，则总训练时间 = 完成所有 30 个训练步骤所需的时间。

请检查下表的引用资料[15]:

[15] S. Chintala.convnet-benchmarks,github.com/soumith/convnet-benchmarks.

对于 AlexNet，caffe 训练步骤时间为 324 毫秒。总时间=前进+后退=121+203