用于模型量化

Lit-StableLM是基于nanoGPT的StableLM/Pythia语言模型的可修改实现，支持多种先进技术，如flash注意力、Int8和GPTQ 4bit量化、LoRA和LLaMA-Adapter微调和预训练。该项目采用Apache 2.0许可，提供了灵活且高效的模型处理方案。