MHA2MLA开源项目

MHA2MLA项目通过实现DeepSeek的多头潜在注意力机制（MLA），旨在使任何基于Transformer的大型语言模型（LLM）的推理过程更加经济高效。该项目支持多种Transformer架构，结合FlashMLA框架，理论内存节省可达80%以上，显著降低GPU内存占用。