python - 在 Pytorch 中实现 LeNet

Question

很抱歉，这个问题非常基础。我感觉网上的资源很丰富，但是大部分都是半完整的或者跳过了我想了解的细节。

我正在尝试使用 Pytorch 实现 LeNet 进行练习。

https://pytorch.org/tutorials/beginner/blitz/neural_networks_tutorial.html

• 为什么在这个例子和网上的许多例子中，他们在 init 中定义了卷积层和 fc 层，而在forward中定义了子采样和激活函数？

• 对于某些函数使用 torch.nn.function，对于其他函数使用 torch.nn 的目的是什么？例如，您与 torch.nn ( https://pytorch.org/docs/stable/nn.html#conv1d ) 进行卷积，并与 torch.nn.function ( https://pytorch.org/docs/stable/nn.functional.html#conv1d ) 进行卷积。为什么选择其中之一？

• 假设我想尝试不同的图像尺寸，例如 28x28 (MNIST)。本教程建议我调整 MNIST 的大小。有没有办法改变 LeNet 的值？如果我不更改它们会发生什么？

• num_flat_features 的用途是什么？如果你想扁平化特征，你不能直接执行 x = x.view(-1, 16*5*5) 吗？

Answer 1

How come in this examples and many examples online, they define the convolutional layers and the fc layers in init, but the subsampling and activation functions in forward?

任何具有可训练参数的层都应该在 __init__ 中定义。子采样、某些激活、丢失等没有任何可训练参数，因此可以在 __init__ 中定义或直接通过torch.nn.functional使用forward期间的界面.

What is the purpose of using torch.nn.functional for some functions, and torch.nn for others?

torch.nn.functional函数是大多数 torch.nn 的核心使用的实际函数。层，它们调用 C++ 编译代码。例如nn.Conv2d子类nn.Module ，任何包含可训练参数的自定义层或模型也应该如此。该类处理注册参数并封装训练和测试所需的一些其他必要功能。期间forward它实际上使用 nn.functional.conv2d应用卷积运算。正如第一个问题中提到的，当执行像 ReLU 这样的无参数操作时，使用 nn.ReLU 之间实际上没有区别。类和 nn.functional.relu功能。

提供它们的原因是它们给予一些做非常规事情的自由。例如this answer我前几天写的，提供了一个没有 nn.functional.conv2d 的解决方案本来就很困难。

Let's say I want to try different image sizes, like 28x28 (MNIST). The tutorial recommends I resize MNIST. Is there a way to instead change the values of LeNet? What happens if I don't change them?

没有明显的方法可以更改现有的经过训练的模型以支持不同的图像尺寸。线性层输入的大小必然是固定的，模型中该点的特征数量通常由网络输入的大小决定。如果输入的大小与模型设计的大小不同，那么当数据进入线性层时，它将具有错误的元素数量并导致程序崩溃。某些模型可以处理一系列输入大小，通常通过使用类似 nn.AdaptiveAvgPool2d 的东西。线性层之前的层，以确保线性层的输入形状始终相同。即便如此，如果输入图像尺寸太小，那么网络中的下采样和/或池化操作将导致特征图在某个时刻消失，从而导致程序崩溃。

What is the purpose of num_flat_features? If you wanted to flatten the features, couldn't you just do x = x.view(-1, 16*5*5)?

当你定义线性层时，你需要告诉它权重矩阵有多大。线性层的权重只是一个不受约束的矩阵(和偏差向量)。因此，权重矩阵的形状由输入形状决定，但在向前运行之前您不知道输入形状，因此在初始化模型时需要将其作为附加参数(或硬编码)提供。

回答实际问题。是的，在forward期间你可以简单地使用

x = x.view(-1, 16*5*5)

更好的是，使用

x = torch.flatten(x, start_dim=1)

本教程是在 .flatten 之前编写的函数已添加到库中。作者实际上只是编写了自己的展平功能，无论 x 的形状如何，都可以使用该功能。 。这可能是因为您有一些可移植代码可以在您的模型中使用，而无需硬编码大小。从编程的角度来看，概括这些事情是很好的，因为这意味着如果您决定更改模型的一部分，则不必担心更改这些魔数(Magic Number)(尽管这种担忧似乎并未扩展到初始化)。