- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
在这篇博文中,The Unreasonable Effectiveness of Recurrent Neural Networks ,Andrej Karpathy 提到了基于神经网络的机器学习的 future 方向:
The concept of attention is the most interesting recent architectural innovation in neural networks. [...] soft attention scheme for memory addressing is convenient because it keeps the model fully-differentiable, but unfortunately one sacrifices efficiency because everything that can be attended to is attended to (but softly). Think of this as declaring a pointer in C that doesn't point to a specific address but instead defines an entire distribution over all addresses in the entire memory, and dereferencing the pointer returns a weighted sum of the pointed content (that would be an expensive operation!). This has motivated multiple authors to swap soft attention models for hard attention where one samples a particular chunk of memory to attend to (e.g. a read/write action for some memory cell instead of reading/writing from all cells to some degree). This model is significantly more philosophically appealing, scalable and efficient, but unfortunately it is also non-differentiable.
最佳答案
究竟什么是注意力?
为了能够理解这个问题,我们需要深入研究注意力试图解决的某些问题。我认为 上的一篇开创性论文用心关注 是 Recurrent Models of Visual Attention我会鼓励读者通读那篇论文,即使它起初看起来并不完全理解。
为了回答究竟什么是注意力的问题,我将尝试提出一个我认为更容易回答的不同问题。即,为什么要关注? .我链接的论文试图简洁地回答这个问题,我将在这里复制部分推理。
想象一下,你被蒙住眼睛,被带到一个惊喜的生日派对上,而你刚刚睁开眼睛。你会看到什么?
现在,当我们说您看到图片时,这是以下在技术上更正确的 Action 序列的较短版本,即随着时间的推移移动您的眼睛并收集有关场景的信息。您不会一次看到图像的每个像素。您一次一个时间步地关注图片的某些方面并汇总信息。例如,即使在如此杂乱的照片中,您也会认出您的比尔叔叔和表弟山姆 :)。这是为什么?因为您关注当前图像的某些显着方面。
这正是我们想要赋予神经网络模型的能力。为什么?将此视为某种正则化。 (答案的这一部分引用了论文)您通常的卷积网络模型确实能够识别杂乱的图像,但是我们如何找到“好”的确切权重集?这是一项艰巨的任务。通过为网络提供新的架构级功能,使其能够按顺序处理图像的不同部分并随着时间的推移聚合信息,我们使这项工作变得更容易,因为现在网络可以简单地学会忽略困惑(或者希望)。
我希望这能回答问题 什么是硬注意力? .现在进入其性质 可微性 .好吧,还记得我们是如何在查看生日照片的同时方便地选择正确的地点进行观看的吗?我们是怎么做到的?这个过程涉及做出难以用输入(图像)的可微函数表示的选择。例如,根据您已经看过的内容和图像,决定下一步看哪里。你可以有一个输出答案的神经网络,但我们不知道正确的答案!事实上没有正确的答案。那么我们如何训练网络参数呢?神经网络训练严重依赖于输入的可微损失函数。此类损失函数的示例包括对数似然损失函数、平方损失函数等。但在这种情况下,我们没有下一步该往哪里看的正确答案。那么我们如何定义损失呢?这就是一个叫做 的机器学习领域。强化学习 (RL) 进来了。RL 允许您通过使用诸如加强方法和 Actor 评论算法之类的方法在策略空间中执行梯度。
什么是软注意力?
这部分答案借用了一篇名为 teaching machines to read and comprehend 的论文。 .
强化方法等 RL 方法的一个主要问题是它们具有高方差(就计算的预期奖励的梯度而言),该方差与网络中隐藏单元的数量呈线性关系。这不是一件好事,尤其是当您要构建一个大型网络时。因此,人们试图寻找可微 注意力模型。所有这一切意味着注意力项和损失函数是输入的可微函数,因此所有梯度都存在。因此,我们可以使用我们的标准反向传播算法以及一种常用的损失函数来训练我们的网络。那么什么是软注意力呢?
在文本上下文中,是指模型选择关联的能力更重要 文档中的某些词与其他标记相比。如果您正在阅读一份文档并且必须根据它回答一个问题,那么专注于文档中的某些标记可能会帮助您更好地回答问题,而不是仅仅阅读每个标记,就好像它们同样重要一样。这就是文本中软注意力背后的基本思想。之所以是可微模型 是因为您纯粹根据特定标记和手头的查询来决定对每个标记给予多少关注。例如,您可以在同一向量空间中表示文档和查询的标记,并查看点积/余弦相似度,以衡量在给定该查询的情况下您应该对该特定标记给予多少关注。请注意,余弦距离操作相对于其输入是完全可微的,因此整个模型最终是可微的。
请注意,本文使用的确切模型有所不同,这个论点只是为了演示,尽管其他模型确实使用了基于点积的注意力分数。
关于machine-learning - 软注意力 vs. 硬注意力,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35549588/
我是 Mercurial 的新手,并且不知何故仍处于评估过程中,所以这四个概念对我来说有点困惑。有些被提到等同于 Git 的 Staging/Index 概念,有些甚至比 Git 的 Staging
关闭。这个问题需要更多focused .它目前不接受答案。 想改善这个问题吗?更新问题,使其仅关注一个问题 editing this post . 6 个月前关闭。 Improve this ques
任何人都可以给我详细信息吗? 例如? #ID 是属性、特性、选择器还是 anchor ? 默认属性和默认属性是不同的东西吗? 这些都是标签还是元素? 我们将对此说些什么 这个 ..... 还有这些
关闭。这个问题需要更多focused .它目前不接受答案。 想改进这个问题吗? 更新问题,使其只关注一个问题 editing this post . 关闭 8 年前。 Improve this qu
我有一个由 Javascript 填充的下拉列表。 在决定加载时显示的默认值时,我意识到以下属性显示的值完全相同: innerText innerHTML label text textContent
我可以知道每个 Exec 之间有什么区别吗? , ExecWait , ExecShell , nsExec::Exec , nsExec::ExecToLog, nsExec::ExecToStac
当您处于版本 1 和版本 2 之间时,您会如何维护您的软件? 从我的角度来看,“补丁”、“修补程序”、“维护版本”、“服务包”等术语都很模糊,根据与您交谈的对象不同,定义也不同。 您如何称呼版本之间的
我刚刚发现在 ES6 中有一个新的数学方法:Math.trunc . 我在 MDN article 中阅读了它的描述。 , 听起来像使用 |0 . 此外,>0 , &-1 , ^0也做类似的事情(感谢
我想知道我的 StackPanel 所有项目的高度。 有什么区别: Height - 获取或设置元素的建议高度。 ActualHeight - 获取该元素的渲染高度。 (只读) ExtentHeigh
关闭。这个问题是off-topic .它目前不接受答案。 想改进这个问题吗? Update the question所以它是on-topic用于堆栈溢出。 关闭 9 年前。 Improve this
我对所有声称以某种方式阻止计算的内置 Mathematica 函数感到困惑:Unevaluated、Defer、Hold ,以及超过 6 个 Hold* 形式。 Mathematica 文档只是单独解
我什至不确定正确的术语,所以让我从我的目标开始:拥有一个简单的应用程序(“Data Doler”),它只会将大量数据从文件读取到内存中,然后提供服务将该数据切片到名为“Data Lapper”的单个多
我刚刚开始在我的项目中使用 Elasticsearch,我想像 sql 关键字一样搜索 '喜欢%' 做。 谁能解释一下 之间的区别通配符 , 前缀 , 查询字符串和 正则表达式 ? 哪个可以搜索最好性
由于我对任何主流浏览器(Firefox、Chrome、Opera)都不太满意,而且我尝试过的不太受欢迎的浏览器(近十几种)都没有,所以我决定 DIY 并制作一个网页我想要最好的浏览器。 主要目标是让它
我知道如何使用 Python 解析页面。我的问题是哪种方法是所有解析技术中最快的,其他方法的速度有多快? 我知道的解析技术有Xpath、DOM、BeautifulSoup,还有使用Python的fin
我试图从正在解析的命令行中找出哪个函数最适合将十进制、十六进制或八进制数转换为 int 最好——在不知道输入的情况下事先。 目标是使用一个函数来识别不同类型的输入并将其分配给它的整数 (int) 值,
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用资料或专业知识的支持,但这个问题可能会引发辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the
我们需要在我们的网站上显示酒吧、餐馆和剧院等各种场所的元信息(例如,地址、姓名)。 理想情况下,用户会输入地点名称以及邮政编码,我们会提供最接近的匹配项。 人们将哪些 API 用于类似的地理定位目的?
就目前而言,这个问题不适合我们的问答形式。我们希望答案得到事实、引用或专业知识的支持,但这个问题可能会引起辩论、争论、投票或扩展讨论。如果您觉得这个问题可以改进并可能重新打开,visit the he
我正在创建我的第一个 Web 应用程序,我真的很困惑应该使用什么技术。 我的应用程序需要看起来很严肃(像一个应用程序),它不需要很多色彩缤纷的图形界面。它只需要一个工具栏、一个标签栏、一个拆分面板(最
我是一名优秀的程序员,十分优秀!