tensorflow - 不可训练参数的定义是什么？

Question

模型中不可训练的参数的定义是什么？

例如，当您构建自己的模型时，其默认值为0，但是当您要使用初始模型时，它将变为其他值而不是0。其背后的原因是什么？

Answer 1

不可训练参数是一个广泛的主题。一个简单的例子就是考虑任何特定的NN模型及其架构的情况。

假设我们已经在Keras中设置了您的网络定义，并且您的体系结构类似于256->500->500->1。基于此定义，我们似乎有一个回归模型(一个输出)，该模型具有两个隐藏层(每个500个节点)和256个输入。

您模型的一个不可训练参数是，例如，本身隐藏层的数量(2)。其他可能是每个隐藏层(在这种情况下为500)上的节点，甚至是每个单独层上的节点，从而为您提供每层一个参数以及层本身的数量。

这些参数是“不可训练的”，因为您无法使用训练数据来优化其值。训练算法(例如反向传播)将优化和更新网络的权重，这是此处的实际可训练参数(通常为几千个，具体取决于您的连接)。训练数据本身无法帮助您确定那些不可训练的参数。

但是，并不意味着numberHiddenLayers根本不可训练，仅意味着在此模型及其实现中我们无法这样做。 我们可以使numberHiddenLayers可训练；最简单的方法是定义另一个ML算法，以该模型作为输入并使用numberHiddenLayers的多个值对其进行训练。使用优于其他模型的模型可获得最佳值，从而优化numberHiddenLayers变量。

换句话说，模型的不可训练参数是您在训练期间不会更新和优化的参数，并且必须先验定义或作为输入传递。