gpt4 book ai didi

python - 是否可以通过训练小数据子集来验证深度学习模型?

转载 作者:太空宇宙 更新时间:2023-11-03 23:55:17 25 4
gpt4 key购买 nike

我希望训练一个大型模型(resnet 或 vgg)来识别人脸。

在少数人脸 (1..3) 上进行训练以验证模型是否有效?

换句话说 - 如果一个模型很好地学习了一张脸 - 是否证明该模型适合任务?

这里的重点是,我不想花一个星期的 GPU 昂贵时间才发现我的模型不好或数据有错误或我的 TF 编码有错误

最佳答案

简短回答:不,因为深度学习适用于大量数据。

长答案:不。问题是只学习一张脸可能会使您的模型过拟合那张特定的脸,而不会学习示例中不存在的特征。因为例如,该模型已经学会检测你的脸,这要归功于你脸上的一个特定的、非常简单的模式(这被称为过度拟合)。

举个愚蠢的简单例子,你的模型已经学会检测那张脸,因为你的右脸颊上有一颗痣,并且它已经学会识别它

为了让你的模型在一般情况下表现良好,你需要大量的数据,让你的模型能够学习不同类型的模式

建议:由于深度神经网络的训练是一项耗时的任务,通常不会一次训练一个单一的神经网络,而是并行训练多个神经网络,具有不同的超参数(层、节点、激活函数、学习率等) ).

由于下面的讨论而编辑:

如果您的数据集很小,在一般情况下不可能有好的表现,因为神经网络将学习最简单的模式通常不是一般/更好的一个。

添加数据你强制神经网络提取好的模式,这在一般情况下都有效。

这是一个权衡,但通常在小数据集上训练不会在一般情况下产生好的分类器

edit2:重新整理所有内容以使其更加清晰。在小型数据集上的良好性能并不能告诉您在所有数据集上训练的模型是否是一个好的模型。这就是为什么你要训练您的大部分数据集并在较小的数据集上进行测试/验证

关于python - 是否可以通过训练小数据子集来验证深度学习模型?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57937097/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com