个人中心
gpt4 book ai didi

【机器学习】李宏毅——自注意力机制(Self-attention)

转载 作者：我是一只小鸟 更新时间：2022-12-16 14:31:47 27 4
gpt4 key购买 nike

前面我们所讲的模型，输入都是一个向量，但有没有可能 在某些场景中输入是多个向量，即一个向量集合，并且这些向量的数目并不是固定的呢 ?

在这里插入图片描述

这一类的场景包括 文字识别、语音识别、图网络 等等.

那么先来考虑输出的类型，如果对于输入是多个数目不定的向量，可以有以下这几种输出方式:

  • 每个向量对应一个输出 ：输出的数目与输入向量的数目一致，例如下图的 词性识别、语调识别、状态识别等等 ：

在这里插入图片描述

  • 只有单个输出 ：这种应用于例如 判断一段话的正负面作用、语音辨认说话者等等 ，如下图：

在这里插入图片描述

  • 机器自己决定输出多少个结果（seq2seq） ：如 翻译、语音转文字等等 。

Sequence Labeling(输入输出数目一致)

最简单的思路当然是 将每一个向量单独作为一个输入，然后将其丢入到一个全连接之中，每个单独产生结果 。但是这种方法的问题在于 没办法考虑前后向量之间的联系 。那么转换另一个思路就是 开一个window，每次将window中的向量一起输入到全连接网络中 ，如下图:

在这里插入图片描述

这种方式的问题在于 如果遇到某些场景需要全部向量都考虑，但是我们无法事先知道这个场景中向量的数目，我们也就很难调整我们的window去适应 。在这种情况下就需要用到自注意力机制了.

Self-attention

可以将自注意力机制看成一层，其接受所有向量的输入，然后输出的数目跟输入的数目的是一样的，可以认为它的每个输出都是考虑了整个向量集之后的结果，之后再将这些输出每个单独放入一个全连接网络中来得到输出，这样可以显著的降低全连接网络的参数量 。并且这个也可以多次使用，自注意力后FC再自注意力再FC等等.

在这里插入图片描述

那么接下来的问题就是这个机制如何接受输入并作出相应的输出。这边以第一个向量对应的第一个输出为例:

在这里插入图片描述

  1. 计算每个输入向量之间的关联性 ：计算关联性 \(\alpha\) 有很多种方法：

在这里插入图片描述

最常见的是这种 Dot-product ，就是 将两个向量分别乘以一个矩阵，得到新的向量，然后再进行点乘得到一个数值 ，也就是 \(\alpha\) 。

  1. 计算出两两向量之间的相关性后进行Sortmax ：如下图:

  2. 对每个向量再乘以一个另外的矩阵得到一个新的向量，再进行加权和得到结果 :

在这里插入图片描述

哪一个向量对应的 \(\alpha\) (attention score)越大，那么得到的b就越接近于它所计算出来的 \(v\) ，这就是最终结果了 .

从矩阵角度理解全过程

  1. 由于每一个输入向量都需要计算 \(q,k,v\) 三个向量，因此可以利用矩阵的形式更加简洁方便的进行计算：

在这里插入图片描述

  1. 计算 \(\alpha\) 也是同理：

在这里插入图片描述

  1. 计算b也是转换成矩阵操作：

在这里插入图片描述

而经过上述的分析，可以看到 需要学习的参数只有 \(W^q,W^k,W^v\) 而已 .

Multi-head Self-attention

这是认为 不同的输入向量之间可能不止有一种相关性 ，因此:

在这里插入图片描述

各种参数都有多重，只不过各自算各自的 .

Position embedding

在前面的自注意力过程中，我们 并没有关注到各个输入向量之间的位置信息 ！这在一些场景里面是很关键的一部分信息，但是我们只是计算了各自的相关性没有考虑到位置信息，因此需要加上Position embedding:

在这里插入图片描述

只需要在每个输入向量上加上一个 \(e^i\) 即可，这个里面就包含了具体的位置信息，而如何产生 \(e^i\) 仍然是一个在研究的问题 .

CNN与Self-attention

事实上， CNN是受限制的Self-attention，也就是Self-attention的特例，Self-attention可以通过某些设计和限制就可以变成CNN，完成和CNN同样的任务 .

RNN与Self-attention

RNN也是处理输入是向量序列问题的算法，其具体过程就是 一开始有一个memory，它和第一个输入向量一起输入到RNN中将会输出一个向量，该向量一方面放入全连接网络中得到一个输出，另一方面和下一个输入向量一起作为下一个RNN的输入，以此类推 .

在这里插入图片描述

而它们的区别在于:

  • 对不同位置的考虑 ：在RNN中如果最后一个黄色的输出向量希望它能够与第一个输入的蓝色向量有关，那么就需要蓝色向量从一开始输入就一直被记得，直到最后一个；而在Self-attention则不用考虑到这个问题，计算就已经是统筹兼顾了
  • 计算的平行性 ：RNN是无法进行平行计算的，而Self-attention是可以的。

最后此篇关于【机器学习】李宏毅——自注意力机制(Self-attention)的文章就讲到这里了,如果你想了解更多关于【机器学习】李宏毅——自注意力机制(Self-attention)的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。

27 4 0
文章推荐： 轻量级的架构决策记录机制
文章推荐： 过两年JVM可能就要被GraalVM替代了
文章推荐： 为什么分布式限流会出现不均衡的情况？
文章推荐： 别再背锅了！这个小技巧统计第三方接口耗时很安逸
我是一只小鸟
个人简介

我是一名优秀的程序员,十分优秀！

滴滴打车优惠券免费领取
滴滴打车优惠券
全站热门文章
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com