混合精度量化

TransMLA是一种将GQA（如LLaMA-3和Qwen-2.5）转化为更强大的MLA（多头潜在注意力）的方法，旨在复制R1能力并探索MoE、MTP、混合精度量化和训练/推理加速等先进技术。

AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。