内存层技术

Memory Layer for Transformers是由Meta引入的一种内存层技术，旨在增强Transformer模型的推理能力，并使其在接近极限带宽的速度下运行。该技术通过在模型结构中嵌入可训练的键值对，仅在需要时激活少量内存单元，从而减少计算开销。它能够显著提高模型在编程任务（如HumanEval和MBPP）中的准确性，并在相同计算能力下实现与更大规模密集模型相当的性能。