AI交流(进群备注:ChatGLM-6B-QLoRA)

ChatGLM-6B-QLoRA项目利用peft库实现了对chatGLM-6B和chatGLM2-6B模型的4bit QLoRA高效微调,并提供了模型的合并和量化功能。该项目包含了完整的训练和推理流程,以及推理性能测试,旨在优化模型存储和计算资源的使用。
ChatGLM-6B-QLoRA的特点:
- 1. 4bit的QLoRA高效微调
- 2. 支持chatGLM-6B和chatGLM2-6B模型
- 3. 模型的合并(merge)功能
- 4. 4bit的量化(quantize)
- 5. 完整的训练流程
- 6. 完整的推理流程
- 7. 推理性能测试
ChatGLM-6B-QLoRA的功能:
- 1. 高效微调chatGLM-6B/chatGLM2-6B模型
- 2. 合并lora model和base model
- 3. 量化模型以减少存储和计算资源
- 4. 进行模型的训练和推理
- 5. 测试模型的推理性能
相关导航

Babel-LLM开源项目 – 开源多语言大模型
Babel是阿里巴巴开源的多语言大模型,支持25种主流语言,覆盖全球90%以上的人口。它提供了9B和83B两个版本,9B专为高效的多语言大模型推理和微调设计,适合研究和本地部署;而83B性能更好,但消耗的资源也更多。Babel的创新之一是采用了层扩展技术,通过在模型中插入额外的层来增加参数数量从而提升模型的性能。预训练方面,Babel采用了两阶段预训练策略:第一阶段是恢复阶段,目标是恢复模型在扩展过程中可能损失的性能;第二阶段是持续训练阶段,重点提升模型的多语言能力,尤其是低资源语言。Babel在多个主流基准测试中表现出色,尤其是在多语言推理、理解和翻译方面。
暂无评论...