所有AI工具AI学习网站AI开发框架AI开源项目AI编程工具

Lit-StableLM开源项目 – 高效可修改的语言模型实现

Lit-StableLM是基于nanoGPT的StableLM/Pythia语言模型的可修改实现,支持多种先进技术,如flash注意力、Int8和GPTQ 4bit量化、LoRA和LLaMA-Adapter微调和预训练。该项目采用Apache...

标签:

AI交流(进群备注:Lit-StableLM)

Lit-StableLM是基于nanoGPT的StableLM/Pythia语言模型的可修改实现,支持多种先进技术,如flash注意力、Int8和GPTQ 4bit量化、LoRA和LLaMA-Adapter微调和预训练。该项目采用Apache 2.0许可,提供了灵活且高效的模型处理方案。

Lit-StableLM的特点:

  • 1. 支持flash注意力
  • 2. 支持Int8量化
  • 3. 支持GPTQ 4bit量化
  • 4. 支持LoRA微调
  • 5. 支持LLaMA-Adapter微调
  • 6. 支持预训练

Lit-StableLM的功能:

  • 1. 用于语言模型的微调
  • 2. 用于语言模型的预训练
  • 3. 用于模型量化
  • 4. 用于模型适配

相关导航

暂无评论

暂无评论...