个人中心
文章发布
退出
作者热门文章
- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框，下拉多选树，多级节点
- 【学习笔记】基础数据结构：猫树
57
4
随着模型规模的增长，生成式人工智能的实现需要大量的推理资源。这不仅增加了每次生成的成本，而且还增加了用于满足此类请求的功耗。因此，文本生成的推理优化对于降低延迟、基础设施成本以及功耗都至关重要，其可以改善用户体验并提高文本生成任务的效率.
辅助解码是一种用于加速文本生成的流行方法。我们在英特尔 Gaudi2 上对其进行了适配和优化，使得其性能与英伟达 H100 GPU 相当，一如我们在 之前的博文 中所展示的，但 Gaudi2 的价格仅相当于英伟达 A100 80GB GPU。这项工作现已集成入 Optimum Habana，Optimum Habana 对 Transformers 和 Diffusers 等各种 Hugging Face 库进行了扩展，以在英特尔 Gaudi 处理器上对用户的工作流进行全面优化.
投机采样是一种用于加速文本生成的技术。其工作原理是用一个草稿模型一次生成 K 个词元，再由目标模型对这 K 个生成词元进行评估。如若草稿模型生成的某个位置的词元被拒绝，则用目标模型来生成该位置的词元，并丢弃草稿模型生成的随后词元，反复执行上述过程直至结束。使用投机采样，可以提高文本生成的速度并得到与原始自回归采样相当的生成质量。使用该技术时，用户可以指定草稿模型。数据证明，推测采样可为基于 transformer 的大模型带来约 2 倍的加速。一句话概括，投机采样可以加速文本生成并提高英特尔 Gaudi 处理器上的文本生成性能.
然而，草稿模型和目标模型 KV 缓存尺寸不同，因此同时分别对这两个模型进行优化显得尤为重要。本文，我们假设目标模型为一个量化模型，并利用 KV 缓存和投机采样对其进行加速。请注意，这里每个模型都有自己的 KV 缓存。我们用草稿模型生成 K 个词元，然后用目标模型对其进行评估; 当草稿模型生成的词元被拒绝时，目标模型会用于生成被拒绝位置的词元，并丢弃草稿模型生成的随后词元; 接着草稿模型继续生成接下来的 K 个词元，如此往复.
请注意，文献 [2] 证明了执行投机采样可以恢复目标模型的分布 - 这从理论上保证了投机采样可以达到与对目标模型自身进行自回归采样相同的采样质量。因此，不采用投机采样的理由仅在于收益，如草稿模型的尺寸并没有足够的比较优势，抑或是草稿模型生成词元的接受比太低.
辅助生成是一种类似于投机采样的技术，其大约与投机采样同一时间被独立发明出来 [3]。其作者将此方法集成到了 Hugging Face Transformers 中，现在模型的 .generate() 的方法中有一个可选的 assistant_model 参数用于启用辅助生成.
在 Gaudi 上使用辅助生成非常简单，我们在 这里 提供了一个示例.
顾名思义，参数 --assistant_model 用于指定草稿模型。草稿模型用于生成 K 个词元，然后由目标模型对其进行评估。当草稿模型生成的词元被拒绝时，目标模型会自己生成该位置的词元，并将草稿模型生成的该位置之后的词元丢弃。接着，草稿模型再生成接下来的 K 个词元，如此往复。草稿模型的接受率部分取决于模型选择，部分取决于输入文本。一般情况下，辅助生成能将大型 transformer 族模型的速度提高约 2 倍.
Gaudi 现已支持用户简单易用地使用辅助生成加速文本生成，用户可用其进一步提高英特尔 Gaudi 处理器的性能。该方法基于投机采样，已被证明可以有效提高基于大型 transformer 模型的性能.
[1] N. Shazeer，Fast Transformer Decoding: One Write-Head is All You Need，Nov. 2019，arXiv:1911.02150. 。
[2] C. Chen，S. Borgeaud，G. Irving，J.B. Lespiau，L. Sifre，J. Jumper, Accelerating Large Language Model Decoding with Speculative Sampling，Feb. 2023，arXiv:2302.01318 。
[3] J. Gante，辅助生成: 低延迟文本生成的新方向，May 2023，https://hf.co/blog/zh/assisted-generation 。
英文原文: https://hf.co/blog/assisted-generation-support-gaudi 。
原文作者: Haim Barad，Tien Pei Chou 。
译者: Matrix Yao (姚伟峰)，英特尔深度学习工程师，工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理.
最后此篇关于英特尔Gaudi加速辅助生成的文章就讲到这里了,如果你想了解更多关于英特尔Gaudi加速辅助生成的内容请搜索CFSDN的文章或继续浏览相关文章，希望大家以后支持我的博客！ 。
57
4
0
我正在尝试 specFlow 辅助，但不确定如何从表中创建类属性。 想象一下我有这门课: public class Tracking { public string Category { ge
我如何使用带 IOS 应用程序的辅助 GPS 来计算给定区域(例如建筑物)内部(或外部)某人的位置？ 是否有可能在几英尺内就足够准确？ 这样做正确吗？ 是否可以在计算中使用多个 wifi 连接？ 最佳
我在 wiki 和其他一些文本中看到，他们说冒泡排序、插入排序、选择排序等的空间复杂度是 O(1) 辅助。它们是否指的是程序中使用的变量所需的常量存储单元。 最佳答案 是的，他们指的是大多数排序都是就
默认情况下，页面上有 3 个点击事件(蓝色 X、蓝色 +、灰色 X)。每个人都会打开一个模式框。 每个模式框都有一个按钮。其中两个模态框，一个用于蓝色 X，一个用于蓝色 +，内部都有功能按钮。当我单击
我正在寻找 Kotlin 的 gigasecond 练习的解决方案:http://exercism.io/exercises/kotlin/gigasecond/readme 。我可以理解它如何需要两
我基本上刚刚开始使用 PyGame 进行开发，但我在整个 Sprite 概念方面遇到了麻烦。我一直在到处寻找有关如何使用它的指南，但似乎找不到任何指南。我想知道这一切是如何运作的基本概念。这是我一直在
我有一些无法运行的 JavaScript 代码。我尝试过移动一些东西，并更改一些关键字，但到目前为止没有任何效果。我会让你们尝试一下。 这是 JavaScript 文件: var GAME =
我有这个注册网页是我在帮助下创建的，感谢这里的人。在尝试使其响应之前，我只是做了一些调整。如何在复选框及其文本和底部的 div 之间创建空间而没有间隙。有什么建议吗？ https://jsfiddle
我正在尝试检查是否启用了 WiFi 辅助。当我连接到我的接入点以获取一些数据时，我遇到了问题，当我的连接不佳时，我的蜂窝数据被使用并且它干扰了我的接入点。有什么方法可以检查是否启用了此选项？ 最佳答案
为了安全起见，我希望使用异地复制/辅助 Blob 存储容器作为 AzureML 数据存储的数据源。所以我执行以下操作: 新数据存储 输入名称 + Azure Blob 存储 + 手动输入 对于 URL
我的讲师现在有一个我以前从未见过的奇怪习惯，我想知道这是 Haskell 标准还是他的编程风格的怪癖。 基本上，他经常会做这样的事情: functionEx :: String -> Int func
我想从可移动SD卡中删除文件，我尝试了很多方法但没有效果。 尝试过: file.delete(); 和 File file = new File(selectedFilePath); boolean
我正在开发一款 Android 应用，用户必须能够在其中进行身份验证，然后调用 YouTube 数据 API。 我可以毫无问题地使用主帐户对用户进行身份验证，使用 Google 登录对我和用户来说一切
命令: sudo mv /temp/hello.txt /path/to/destination/ 然后我通过 key 存储添加了密码。 我确信写在 sudo.password 中的密码是正确的。
我需要编写一个 java 代码来获取给定集群的辅助名称节点的 IP 地址。给定集群的 Namenode 的 IP 地址。 我能够获取数据节点和名称节点的报告，但无法找到获取辅助名称节点的 IP 地址的
Cay Horstmann 的书《不耐烦的 Scala》中的一个非常简单的练习一直让我感到困惑。是关于primary , auxiliary和 default primary构造函数: ex 5.10
我正在尝试确定 Google Cloud DNS 是否支持通过 NOTIFY 请求进行辅助 DNS (AXFR/IXFR) 传输？我在网上找不到任何东西，Google 也没有明确声明不支持它。 最佳答
我有一个简单的 Kotlin 类: data class ValveSpan(val begin:Duration, val end:Duration, val key:String):Compara
我有一个与最初在 UISplitView 中加载辅助 View 相关的快速问题。目前，我已经在 masterVC.swift 中获得了代码，可以用数组中的第一个对象(如果有)填充detailsVC。这
我正在使用这个命令来获取另一个命令的进程 ID: ps aux | grep 7000.conf | awk '{print $2}' 这将返回两个 PID: 7731 22125 我只想要第一个。第
我是一名优秀的程序员,十分优秀！