AI交流(进群备注:transformer-tricks)

该项目实现了论文 ‘在不损失准确性的情况下将上下文内存减半 — K-cache is all you need for MHA’ 中的优化方法,通过数学方法完全消除了KV-Cache中的V-Cache,使用K-Cache通过计算来恢复V-Cache,从而减少显存使用。
transformer-tricks的特点:
- 1. 完全消除KV-Cache中的V-Cache
- 2. 使用K-Cache通过计算恢复V-Cache
- 3. 减少显存使用
- 4. 支持Flash Attention
- 5. 支持各种量化方法
transformer-tricks的功能:
- 1. 优化Transformer模型的显存使用
- 2. 在不损失准确性的情况下减少上下文内存
- 3. 支持Flash Attention的集成
- 4. 支持量化方法的集成
相关导航

1.58-bit FLUX开源项目 – 高效文生图像量化模型
1.58-bit FLUX是字节跳动研究人员开发的一种创新的量化方法,旨在减少文生图像模型的内存占用和计算需求。该模型通过自监督信号进行量化,将权重压缩到1.58位,仅用{-1, 0, +1}三种值表示。尽管量化到如此低的位数,模型在生成1024 x 1024分辨率图像时,性能仍与未量化的模型基本一致。研究人员还开发了专用的计算内核,使得存储减少了7.7倍,推理内存减少了5.1倍,显著降低了对存储和内存的需求。该模型采用了后训练量化(PTQ)方法,无需在训练过程中进行繁琐的微调操作,直接对预训练好的模型进行量化处理,避免了重新训练带来的计算开销和时间消耗。
暂无评论...