machine-learning - 神经网络中的 Train loss、Valid loss 和 Train/Val 是什么意思-6ren

machine-learning - 神经网络中的 Train loss、Valid loss 和 Train/Val 是什么意思

转载作者：行者123 更新时间：2023-11-30 08:23:24

33

4

我目前正在通过研究 MNIST 示例等示例来学习卷积神经网络。在神经网络的训练过程中，我经常看到如下输出:

 Epoch  |  Train loss  |  Valid loss  |  Train / Val
--------|--------------|--------------|---------------
    50  |    0.004756  |    0.007043  |     0.675330
   100  |    0.004440  |    0.005321  |     0.834432
   250  |    0.003974  |    0.003928  |     1.011598
   500  |    0.002574  |    0.002347  |     1.096366
  1000  |    0.001861  |    0.001613  |     1.153796
  1500  |    0.001558  |    0.001372  |     1.135849
  2000  |    0.001409  |    0.001230  |     1.144821
  2500  |    0.001295  |    0.001146  |     1.130188
  3000  |    0.001195  |    0.001087  |     1.099271

除了纪元之外，有人能给我解释一下每列到底代表什么以及这些值的含义吗？我看到很多关于基本 cnn 的教程，但我还没有遇到详细解释这一点的教程。

最佳答案

除了用于训练网络的数据之外，似乎还使用了一组保留的数据。训练损失是训练数据集上的误差。验证损失是通过经过训练的网络运行验证数据集后的错误。 Train/valid是两者之间的比率。

出乎意料的是，随着纪元的增加，验证错误和训练错误都会下降。但在某个时刻，虽然训练误差继续下降(网络越来越好地学习数据)，但验证误差开始上升——这就是过度拟合!

关于machine-learning - 神经网络中的 Train loss、Valid loss 和 Train/Val 是什么意思，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/36963054/

33

4

0

文章推荐： r - 如何使用 ROCR 包计算 AUC

文章推荐： r - R 中的 t-SNE 预测

文章推荐： Java - 如何在 JTextPane 中正确显示 ANSI 艺术

python - 什么时候应该使用 tf.train.BytesList、tf.train.FloatList 和 tf.train.Int64List 将数据存储在 tf.train.Feature 中？
TensorFlow 提供了 3 种不同的数据存储格式 tf.train.Feature .它们是: tf.train.BytesList tf.train.FloatList tf.train.In
trains - 使用 Trains 跟踪单独的训练/测试过程
在我的设置中，我运行了一个脚本火车一个模型并开始生成检查点。另一个脚本监视新的检查点和评估他们。脚本并行运行，因此评估只是训练之后的一步。支持这种情况的正确 Tracks 配置是什么？最佳答
trains - Trains 应该如何与 RayTune 等超参数优化工具一起使用？
什么是合理的设置？我可以在同一次执行中多次调用 Task.init() 吗？最佳答案免责声明:我是 allegro.ai Trains 团队的一员一种解决方案是从 trains.automati
trains - ClearML(以前称为 Trains)可以在本地服务器上工作吗？
我想开始我的方式 ClearML (以前称为火车)。我在documentation上看到的我需要在 ClearML 平台本身或使用 AWS 等的远程机器上运行服务器。我真的很想绕过这个限制并在我的
machine-learning - WEKA的多层感知器: training then training again
我正在尝试使用 weka 的 MultilayerPerceptron 执行以下操作: 使用一小部分训练实例来训练一部分历元输入，在剩余的周期中使用整组实例进行训练。但是，当我在代码中执行以下操作
c++ - 对象检测 : Training Requried or No Training Required?
这个问题与对象检测有关，基本上是检测任何“已知”对象。例如，假设我有以下对象。表格瓶子。相机汽车我将从所有这些单独的对象中拍摄 4 张照片。左边一个，右边一个，上下两个。我本来以为用这4张照
"RuntimeError: You must train on the training inputs! " When I'm trying to use mini batch in training Guassian Process Regression Model(“RuntimeError：你必须在训练输入上训练！which is the most important part of the Process Regression Model.“)
我已经编写了一段代码来训练Guassian过程回归模型来预测年龄。我已经编写了以下代码，并且运行良好：。但我注意到，每个纪元都输入了相同的数据，我认为这可能会导致过度拟合，所以我想使用Mini Bat
浅谈tf.train.Saver()与tf.train.import_meta_graph的要点
(一)、tf.train.Saver() (1). tf.train.Saver() 是用来保存tensorflow训练模型的，默认保存全部参数 (2). 用来加载参数，注：只加载存储在data
python - Pytorch model.train() 和教程中编写的单独的 train() 函数
我是 PyTorch 的新手，我想知道您是否可以向我解释 PyTorch 中的默认 model.train() 与此处的 train() 函数之间的一些关键区别。另一个 train() 函数位于关于
Training on a pre-trained model with new classes(使用新课程对预先训练好的模型进行培训)
我可以在maskrcnn的预训练模型的基础上训练吗？如果预训练模型的类别与我自己的数据集不同，预训练模型仍然有效吗？。我尝试了一个新的班级训练数据集。但它似乎收敛得非常慢。
Training on a pre-trained model with new classes(使用新课程对预先训练好的模型进行培训)
我可以按照Maskrcnn预先训练的模式进行训练吗？如果预先训练的模型的类别与我自己的数据集的类别不同，那么预先训练的模型是否仍然有效？。我尝试了一个新的班级训练数据集。但它似乎收敛得非常慢。
tensorflow - tf.train.MonitoredTrainingSession 和 tf.train.Supervisor 有什么区别
我想知道这两个 tensorflow 对象在用于训练神经网络时有什么区别？最佳答案 Supervisor 即将被弃用，鼓励新用户使用 tf.train.FooSession 类 (来自 commen
python - tf.train.ExponentialMovingAverage 和 tf.train.MomentumOptimizer 有什么区别？
我已经看到文档 tf.train.ExponentialMovingAverage 实现了这个公式: shadow_variable = decay * shadow_variable + (1 -
python - tf.train.Checkpoint 和 tf.train.Saver 之间的区别
我发现在 Tensorflow 中有不同的方法来保存/恢复模型和变量。这些方式包括: tf.saved_model.simple_save tf.train.Checkpoint tf.train.S
python - tf.train.shuffle_batch_join 和 tf.train.shuffle_batch 之间的区别
查看两个带有参数的函数签名 tf.train.shuffle_batch_join( tensors_list, batch_size, capacity, min_after_dequeue, se
python - tf.train.shuffle_batch 和 `tf.train.batch 发生了什么？
我使用 Binary data训练 DNN。但是 tf.train.shuffle_batch 和 tf.train.batch 让我很困惑。这是我的代码，我将对其进行一些测试。首先Using_
machine-learning - SageMaker Estimator.fit() 未将 'train' 输入传递给 Training 实例
正如文档/教程中提到的，我们可以调用 Estimator.fit()开始训练工作。该方法所需的参数为 inputs这是对训练文件的 s3/file 引用。示例: estimator.fit({'tr
python - key 错误 : "Invalid split train[:80%]. Available splits are: [' train']"
这个问题在这里已经有了答案: Split train data to train and validation by using tensorflow_datasets.load (TF 2.1) (
multithreading - tf.train.Coordinator 类和 tf.train.QueueRunner 类在 tensorflow 中做什么？
我知道这两个类都处理线程。根据文档，tf.train.Coordinator 协调一组线程的终止，而 tf.train.QueueRunner 保存队列的入队操作列表，每个操作都在一个线程中运行。但
tensorflow - 对于可变长度特征，使用 tf.train.SequenceExample 相对于 tf.train.Example 有何优点？
最近我读了this TensorFlow 中未记录特征的指南，因为我需要传递可变长度序列作为输入。但是，我发现 tf.train.SequenceExample 的协议(protocol)相对困惑(特

首页

博学

6Ren·AI

商城

machine-learning - 神经网络中的 Train loss、Valid loss 和 Train/Val 是什么意思