grid-search - 使用网格搜索对 GAN 进行超参数调整

Question

我现在正在研究 GAN。我面临的主要问题是调整超参数。这是 GAN 的大问题之一。当我研究超参数调整时，我发现了网格搜索这个名字。所以，我想使用这个网格搜索来调整 GAN 的超参数。不懂怎么介绍这个。如果有人对此有想法，请提供帮助。或者关于调整 GAN 的超参数的任何更好的想法然后分享。

谢谢。

Answer 1

您可以使用以下 kera 函数:https://www.tensorflow.org/tutorials/keras/keras_tuner

您可以指定要测试的超参数、它们的取值范围等。您可以测试不同的学习率、层数、激活函数等。

你也可以看看下面的sklearn包:https://machinelearningmastery.com/grid-search-hyperparameters-deep-learning-models-python-keras/

话虽如此，超参数调整非常昂贵，尤其是对于已经难以训练的 GAN，正如您所说。

最好先在较小的数据子集上开始训练，以便更好地了解要使用的超参数，然后在较小的超参数子集上运行超参数调整。