AI交流(进群备注:mini_qwen)

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目,包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型,通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数,增加参数量到1B,并进行参数随机初始化。支持中英文,预训练和微调仅需要12G显存,直接偏好优化仅需要14G显存。使用flash_attention_2进行加速,使用deepspeed在6张H800上进行训练,探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。
mini_qwen的特点:
- 1. 1B参数,支持中英文,满足多样化需求
- 2. 预训练、微调、直接偏好优化三步走,训练流程清晰
- 3. 只需12G显存,就能在T4显卡上开启训练之旅
- 4. 详细教程与代码,新手也能轻松上手
- 5. 使用flash_attention_2进行加速
- 6. 使用deepspeed在6张H800上进行训练
- 7. 探究了尺度定律、复读机现象与微调阶段的知识注入
mini_qwen的功能:
- 1. 从零开始打造你的专属大语言模型
- 2. 在T4显卡上进行训练
- 3. 支持中英文的多样化需求
- 4. 通过预训练、微调、直接偏好优化三步走流程进行模型训练
- 5. 使用T4显卡进行预训练
- 6. 使用T4显卡进行微调
- 7. 使用T4显卡进行直接偏好优化
- 8. 详细记录整个训练过程,供学习和交流
- 9. 支持在6张H800上进行高效训练
相关导航
暂无评论...