个人中心
gpt4 book ai didi

深度学习（十）——神经网络：非线性激活

转载 作者：我是一只小鸟 更新时间：2023-08-05 22:33:33 32 4
gpt4 key购买 nike

1、Padding Layers简介

  • nn.ZeroPad2d ：在输入的tensor数据类型周围 用0进行填充 。

  • nn.ConstantPad2d ：在输入的tensor数据类型周围 用常数进行填充 。

这个函数的主要作用是对输入的图像进行填充，但里面所有功能都能用nn.Conv2d实现.

2、Non-linear Activations

非线性激活主要作用是为神经网络引入一些 非线性特质 。

1. nn.ReLU介绍 

                        
                          class torch.nn.ReLU(inplace=False)

作用:

  • \(input\leq{0}\) ， \(output=0\) 。

  • \(input>0\) ， \(output=input\) 。

计算公式:

\[ReLU(x)=(x)^+=max(0,x) \]

inplace参数:

  • inplace=True，则会自动 替换输入时的变量参数 。如：input=-1，ReLU(input,implace=True)，那么输出后， input=output=0 。

  • inplace=True，则 不替换输入时的变量参数 。如：input=-1，ReLU(input,implace=True)，那么输出后， input=-1，output=0 。

2. nn.Sigmoid介绍 

                        
                          class torch.nn.Sigmoid(*args, **kwargs)

计算公式:

\[Sigmiod(x)=\sigma(x)=\frac{1}{1+exp(-x)} \]

3、代码栗子

1. nn.ReLU函数 

                        
                          import torch
import torchvision
from torch import nn
from torch.nn import ReLU,Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

input=torch.tensor([[1,-0.5],
                    [-1,3]])
output=torch.reshape(input,(-1,1,2,2))

#构建神经网络
class Demo(nn.Module):
    def __init__(self):
        super(Demo,self).__init__()
        self.relu1=ReLU()

    def forward(self,input):
        output=self.relu1(input)
        return output

demo=Demo()
output=demo(input)
print(output)

"""
[Run]
tensor([[1., 0.],
        [0., 3.]])
"""

2. nn.Sigmoid函数 

                        
                          import torch
import torchvision
from torch import nn
from torch.nn import ReLU,Sigmoid
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

dataset=torchvision.datasets.CIFAR10("./dataset",train=False,download=True,transform=torchvision.transforms.ToTensor())
dataloder=DataLoader(dataset,batch_size=64)

class Demo1(nn.Module):
    def __init__(self):
        super(Demo1,self).__init__()
        self.sigmoid=Sigmoid()

    def forward(self,input):
        output=self.sigmoid(input)
        return output

demo1=Demo1()
writer=SummaryWriter("logs_sigmoid")
step=0
for data in dataloder:
    imgs,targets=data
    writer.add_images("input",imgs,global_step=step)
    output=demo1(imgs)
    writer.add_images("output",output,global_step=step)
    step+=1
writer.close()

输出结果:

3. 非线性变换的目的

  • 非线性变换的目的是为神经网络 引入一些非线性特征 ，使其训练出一些符合各种曲线或各种特征的模型.

  • 换句话来说，如果模型都是直线特征的话，它的 泛化能力会不够好 .

最后此篇关于深度学习（十）——神经网络：非线性激活的文章就讲到这里了,如果你想了解更多关于深度学习（十）——神经网络：非线性激活的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

32 4 0
文章推荐： 面向对象设计原则总结：SOLID/LKP/DRY/KISS…
文章推荐： 小白终于解决了在学习Go中不知道Makefile是什么的难题
文章推荐： DBSCAN聚类
文章推荐： Cilium系列-13-启用XDP加速及Cilium性能调优总结
我是一只小鸟
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com