- VisualStudio2022插件的安装及使用-编程手把手系列文章
- pprof-在现网场景怎么用
- C#实现的下拉多选框,下拉多选树,多级节点
- 【学习笔记】基础数据结构:猫树
过去的几个月,我们目睹了使用基于 transformer 模型作为扩散模型的主干网络来进行高分辨率文生图 (text-to-image,T2I) 的趋势。和一开始的许多扩散模型普遍使用 UNet 架构不同,这些模型使用 transformer 架构作为扩散过程的主模型。由于 transformer 的性质,这些主干网络表现出了良好的可扩展性,模型参数量可从 0.6B 扩展至 8B.
随着模型越变越大,内存需求也随之增加。对扩散模型而言,这个问题愈加严重,因为扩散流水线通常由多个模型串成: 文本编码器、扩散主干模型和图像解码器。此外,最新的扩散流水线通常使用多个文本编码器 - 如: Stable Diffusion 3 有 3 个文本编码器。使用 FP16 精度对 SD3 进行推理需要 18.765GB 的 GPU 显存.
这么高的内存要求使得很难将这些模型运行在消费级 GPU 上,因而减缓了技术采纳速度并使针对这些模型的实验变得更加困难。本文,我们展示了如何使用 Diffusers 库中的 Quanto 量化工具脚本来提高基于 transformer 的扩散流水线的内存效率.
你可参考 这篇文章 以获取 Quanto 的详细介绍。简单来说,Quanto 是一个基于 PyTorch 的量化工具包。它是 Hugging Face Optimum 的一部分,Optimum 提供了一套硬件感知的优化工具.
模型量化是 LLM 从业者必备的工具,但在扩散模型中并不算常用。Quanto 可以帮助弥补这一差距,其可以在几乎不伤害生成质量的情况下节省内存.
我们基于 H100 GPU 配置进行基准测试,软件环境如下
除非另有说明,我们默认使用 FP16 进行计算。我们不对 VAE 进行量化以防止数值不稳定问题。你可于 此处 找到我们的基准测试代码.
截至本文撰写时,以下基于 transformer 的扩散模型流水线可用于 Diffusers 中的文生图任务
另外还有一个基于 transformer 的文生视频流水线: Latte.
为简化起见,我们的研究仅限于以下三个流水线: PixArt-Sigma、Stable Diffusion 3 以及 Aura Flow。下表显示了它们各自的扩散主干网络的参数量
模型 | Checkpoint | 参数量(Billion) |
---|---|---|
PixArt | https://huggingface.co/PixArt-alpha/PixArt-Sigma-XL-2-1024-MS | 0.611 |
Stable Diffusion 3 | https://huggingface.co/stabilityai/stable-diffusion-3-medium-diffusers | 2.028 |
Aura Flow | https://huggingface.co/fal/AuraFlow/ | 6.843 |
DiffusionPipeline
使用 Quanto 量化模型非常简单.
from optimum.quanto import freeze, qfloat8, quantize
from diffusers import PixArtSigmaPipeline
import torch
pipeline = PixArtSigmaPipeline.from_pretrained(
"PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", torch_dtype=torch.float16
).to("cuda")
quantize(pipeline.transformer, weights=qfloat8)
freeze(pipeline.transformer)
我们对需量化的模块调用 quantize() ,以指定我们要量化的部分。上例中,我们仅量化参数,保持激活不变,量化数据类型为 FP8。最后,调用 freeze() 以用量化参数替换原始参数.
然后,我们就可以如常调用这个 pipeline 了
image = pipeline("ghibli style, a fantasy landscape with castles").images[0]
FP16 | 将 transformer 扩散主干网络量化为 FP8 |
---|---|
我们注意到使用 FP8 可以节省显存,且几乎不影响生成质量; 我们也看到量化模型的延迟稍有变长
Batch Size | 量化 | 内存 (GB) | 延迟 (秒) |
---|---|---|---|
1 | 无 | 12.086 | 1.200 |
1 | FP8 | 11.547 | 1.540 |
4 | 无 | 12.087 | 4.482 |
4 | FP8 | 11.548 | 5.109 |
我们可以用相同的方式量化文本编码器
quantize(pipeline.text_encoder, weights=qfloat8)
freeze(pipeline.text_encoder)
文本编码器也是一个 transformer 模型,我们也可以对其进行量化。同时量化文本编码器和扩散主干网络可以带来更大的显存节省
Batch Size | 量化 | 是否量化文本编码器 | 显存 (GB) | 延迟 (秒) |
---|---|---|---|---|
1 | FP8 | 否 | 11.547 | 1.540 |
1 | FP8 | 是 | 5.363 | 1.601 |
4 | FP8 | 否 | 11.548 | 5.109 |
4 | FP8 | 是 | 5.364 | 5.141 |
量化文本编码器后生成质量与之前的情况非常相似
将文本编码器与扩散主干网络一起量化普遍适用于我们尝试的很多模型。但 Stable Diffusion 3 是个特例,因为它使用了三个不同的文本编码器。我们发现 _ 第二个 _ 文本编码器量化效果不佳,因此我们推荐以下替代方案
CLIPTextModelWithProjection
) 或T5EncoderModel
) 或下表给出了各文本编码器量化方案的预期内存节省情况 (扩散 transformer 在所有情况下均被量化)
Batch Size | 量化 | 量化文本编码器 1 | 量化文本编码器 2 | 量化文本编码器 3 | 显存 (GB) | 延迟 (秒) |
---|---|---|---|---|---|---|
1 | FP8 | 1 | 1 | 1 | 8.200 | 2.858 |
1 ✅ | FP8 | 0 | 0 | 1 | 8.294 | 2.781 |
1 | FP8 | 1 | 1 | 0 | 14.384 | 2.833 |
1 | FP8 | 0 | 1 | 0 | 14.475 | 2.818 |
1 ✅ | FP8 | 1 | 0 | 0 | 14.384 | 2.730 |
1 | FP8 | 0 | 1 | 1 | 8.325 | 2.875 |
1 ✅ | FP8 | 1 | 0 | 1 | 8.204 | 2.789 |
1 | 无 | - | - | - | 16.403 | 2.118 |
量化文本编码器: 1 | 量化文本编码器: 3 | 量化文本编码器: 1 和 3 |
---|---|---|
bfloat16
通常表现更好对于支持 bfloat16 的 GPU 架构 (如 H100 或 4090),使用 bfloat16 速度更快。下表列出了在我们的 H100 参考硬件上测得的 PixArt 的一些数字: Batch Size 精度 量化 显存 (GB) 延迟 (秒) 是否量化文本编码器 。
Batch Size | 精度 | 量化 | 显存(GB) | 延迟(秒) | 是否量化文本编码器 |
---|---|---|---|---|---|
1 | FP16 | INT8 | 5.363 | 1.538 | 是 |
1 | BF16 | INT8 | 5.364 | 1.454 | 是 |
1 | FP16 | FP8 | 5.363 | 1.601 | 是 |
1 | BF16 | FP8 | 5.363 | 1.495 | 是 |
qint8
的前途我们发现使用 qint8 (而非 qfloat8 ) 进行量化,推理延迟通常更好。当我们对注意力 QKV 投影进行水平融合 (在 Diffusers 中调用 fuse_qkv_projections() ) 时,效果会更加明显,因为水平融合会增大 int8 算子的计算维度从而实现更大的加速。我们基于 PixArt 测得了以下数据以证明我们的发现
Batch Size | 量化 | 显存 (GB) | 延迟 (秒) | 是否量化文本编码器 | QKV 融合 |
---|---|---|---|---|---|
1 | INT8 | 5.363 | 1.538 | 是 | 否 |
1 | INT8 | 5.536 | 1.504 | 是 | 是 |
4 | INT8 | 5.365 | 5.129 | 是 | 否 |
4 | INT8 | 5.538 | 4.989 | 是 | 是 |
在使用 bfloat16 时,我们还尝试了 qint4 。目前我们仅支持 H100 上的 bfloat16 的 qint4 量化,其他情况尚未支持。通过 qint4 ,我们期望看到内存消耗进一步降低,但代价是推理延迟变长。延迟增加的原因是硬件尚不支持 int4 计算 - 因此权重使用 4 位,但计算仍然以 bfloat16 完成。下表展示了 PixArt-Sigma 的结果
Batch Size | 是否量化文本编码器 | 显存 (GB) | 延迟 (秒) |
---|---|---|---|
1 | 否 | 9.380 | 7.431 |
1 | 是 | 3.058 | 7.604 |
但请注意,由于 INT4 量化比较激进,最终结果可能会受到影响。所以,一般对于基于 transformer 的模型,我们通常不量化最后一个投影层。在 Quanto 中,我们做法如下
quantize(pipeline.transformer, weights=qint4, exclude="proj_out")
freeze(pipeline.transformer)
"proj_out" 对应于 pipeline.transformer 的最后一层。下表列出了各种设置的结果
量化文本编码器: 否 , 不量化的层: 无 | 量化文本编码器: 否 , 不量化的层: "proj_out" | 量化文本编码器: 是 , 不量化的层: 无 | 量化文本编码器: 是 , 不量化的层: "proj_out" |
---|---|---|---|
为了恢复损失的图像质量,常见的做法是进行量化感知训练,Quanto 也支持这种训练。这项技术超出了本文的范围,如果你有兴趣,请随时与我们联系! 。
本文的所有实验结果都可以在 这里 找到.
以下代码可用于对 Diffusers 模型进行量化并保存量化后的模型
from diffusers import PixArtTransformer2DModel
from optimum.quanto import QuantizedPixArtTransformer2DModel, qfloat8
model = PixArtTransformer2DModel.from_pretrained("PixArt-alpha/PixArt-Sigma-XL-2-1024-MS", subfolder="transformer")
qmodel = QuantizedPixArtTransformer2DModel.quantize(model, weights=qfloat8)
qmodel.save_pretrained("pixart-sigma-fp8")
此代码生成的 checkpoint 大小为 587MB ,而不是原本的 2.44GB。然后我们可以加载它
from optimum.quanto import QuantizedPixArtTransformer2DModel
import torch
transformer = QuantizedPixArtTransformer2DModel.from_pretrained("pixart-sigma-fp8")
transformer.to(device="cuda", dtype=torch.float16)
最后,在 DiffusionPipeline 中使用它
from diffusers import DiffusionPipeline
import torch
pipe = DiffusionPipeline.from_pretrained(
"PixArt-alpha/PixArt-Sigma-XL-2-1024-MS",
transformer=None,
torch_dtype=torch.float16,
).to("cuda")
pipe.transformer = transformer
prompt = "A small cactus with a happy face in the Sahara desert."
image = pipe(prompt).images[0]
将来,我们计划支持在初始化流水线时直接传入 transformer 就可以工作
pipe = PixArtSigmaPipeline.from_pretrained(
"PixArt-alpha/PixArt-Sigma-XL-2-1024-MS",
- transformer=None,
+ transformer=transformer,
torch_dtype=torch.float16,
).to("cuda")
QuantizedPixArtTransformer2DModel 实现可参考 此处。如果你希望 Quanto 支持对更多的 Diffusers 模型进行保存和加载,请在 此处 提出需求并 @sayakpaul .
enable_model_cpu_offload()
。本文,我们展示了如何量化 Diffusers 中的 transformer 模型并优化其内存消耗。当我们同时对文本编码器进行量化时,效果变得更加明显。我们希望大家能将这些工作流应用到你的项目中并从中受益🤗.
感谢 Pedro Cuenca 对本文的细致审阅.
英文原文: https://hf.co/blog/quanto-diffusers 。
原文作者: Sayak Paul,David Corvoysier 。
译者: Matrix Yao (姚伟峰),英特尔深度学习工程师,工作方向为 transformer-family 模型在各模态数据上的应用及大规模模型的训练推理.
最后此篇关于基于Quanto和Diffusers的内存高效transformer扩散模型的文章就讲到这里了,如果你想了解更多关于基于Quanto和Diffusers的内存高效transformer扩散模型的内容请搜索CFSDN的文章或继续浏览相关文章,希望大家以后支持我的博客! 。
我在具有 2CPU 和 3.75GB 内存 (https://aws.amazon.com/ec2/instance-types/) 的 c3.large Amazon EC2 ubuntu 机器上运
我想通过用户空间中的mmap-ing并将地址发送到内核空间从用户空间写入VGA内存(视频内存,而不是缓冲区),我将使用pfn remap将这些mmap-ed地址映射到vga内存(我将通过 lspci
在 Mathematica 中,如果你想让一个函数记住它的值,它在语法上是很轻松的。例如,这是标准示例 - 斐波那契: fib[1] = 1 fib[2] = 1 fib[n_]:= fib[n] =
我读到动态内存是在运行时在堆上分配的,而静态内存是在编译时在堆栈上分配的,因为编译器知道在编译时必须分配多少内存。 考虑以下代码: int n; cin>>n; int a[n]; 如果仅在运行期间读
我是 Python 的新手,但我之前还不知道这一点。我在 for 循环中有一个基本程序,它从站点请求数据并将其保存到文本文件但是当我检查我的任务管理器时,我发现内存使用量只增加了?长时间运行时,这对我
我正在设计一组数学函数并在 CPU 和 GPU(使用 CUDA)版本中实现它们。 其中一些函数基于查找表。大多数表占用 4KB,其中一些占用更多。基于查找表的函数接受一个输入,选择查找表的一两个条目,
读入一个文件,内存被动态分配给一个字符串,文件内容将被放置在这里。这是在函数内部完成的,字符串作为 char **str 传递。 使用 gdb 我发现在行 **(str+i) = fgetc(aFil
我需要证实一个理论。我正在学习 JSP/Java。 在查看了一个现有的应用程序(我没有写)之后,我注意到一些我认为导致我们的性能问题的东西。或者至少是其中的一部分。 它是这样工作的: 1)用户打开搜索
n我想使用memoization缓存某些昂贵操作的结果,这样就不会一遍又一遍地计算它们。 两个memoise和 R.cache适合我的需要。但是,我发现缓存在调用之间并不可靠。 这是一个演示我看到的问
我目前正在分析一些 javascript shell 代码。这是该脚本中的一行: function having() { memory = memory; setTimeout("F0
我有一种情况,我想一次查询数据库,然后再将整个数据缓存在内存中。 我得到了内存中 Elasticsearch 的建议,我用谷歌搜索了它是什么,以及如何在自己的 spring boot 应用程序中实现它
我正在研究 Project Euler (http://projecteuler.net/problem=14) 的第 14 题。我正在尝试使用内存功能,以便将给定数字的序列长度保存为部分结果。我正在
所以,我一直在做 Java 内存/注意力游戏作业。我还没有达到我想要的程度,它只完成了一半,但我确实让 GUI 大部分工作了......直到我尝试向我的框架添加单选按钮。我认为问题可能是因为我将 JF
我一直在尝试使用 Flask-Cache 的 memoize 功能来仅返回 statusTS() 的缓存结果,除非在另一个请求中满足特定条件,然后删除缓存。 但它并没有被删除,并且 Jinja 模板仍
我对如何使用 & 运算符来减少内存感到非常困惑。 我可以回答下面的问题吗? clase C{ function B(&$a){ $this->a = &$a; $thi
在编写代码时,我遇到了一个有趣的问题。 我有一个 PersonPOJO,其 name 作为其 String 成员之一及其 getter 和 setter class PersonPOJO { priv
在此代码中 public class Base { int length, breadth, height; Base(int l, int b, int h) { l
Definition Structure padding is the process of aligning data members of the structure in accordance
在 JavaScript Ninja 的 secret 中,作者提出了以下方案,用于在没有闭包的情况下内存函数结果。他们通过利用函数是对象这一事实并在函数上定义一个属性来存储过去调用函数的结果来实现这
我正在尝试找出 map 消耗的 RAM 量。所以,我做了以下事情;- Map cr = crPair.collectAsMap(); // 200+ entries System.out.printl
我是一名优秀的程序员,十分优秀!