AI交流(进群备注:mini_qwen)

mini_qwen是一个从头开始训练的1B参数的大型语言模型(LLM)项目,包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)3个部分。该项目基于Qwen2.5-0.5B-Instruct模型,通过扩充模型隐藏状态层数、隐藏状态维度和注意力头数,增加参数量到1B,并进行参数随机初始化。支持中英文,预训练和微调仅需要12G显存,直接偏好优化仅需要14G显存。使用flash_attention_2进行加速,使用deepspeed在6张H800上进行训练,探究了尺度定律(scaling law)、复读机现象与微调阶段的知识注入。
mini_qwen的特点:
- 1. 1B参数,支持中英文,满足多样化需求
- 2. 预训练、微调、直接偏好优化三步走,训练流程清晰
- 3. 只需12G显存,就能在T4显卡上开启训练之旅
- 4. 详细教程与代码,新手也能轻松上手
- 5. 使用flash_attention_2进行加速
- 6. 使用deepspeed在6张H800上进行训练
- 7. 探究了尺度定律、复读机现象与微调阶段的知识注入
mini_qwen的功能:
- 1. 从零开始打造你的专属大语言模型
- 2. 在T4显卡上进行训练
- 3. 支持中英文的多样化需求
- 4. 通过预训练、微调、直接偏好优化三步走流程进行模型训练
- 5. 使用T4显卡进行预训练
- 6. 使用T4显卡进行微调
- 7. 使用T4显卡进行直接偏好优化
- 8. 详细记录整个训练过程,供学习和交流
- 9. 支持在6张H800上进行高效训练
相关导航

Apache ECharts开源项目 – 强大的JavaScript图表库
Apache ECharts 是一个基于 JavaScript 的开源可视化库,专门用于生成各种交互式和高度可定制的图表。它支持多种图表类型,包括折线图、柱状图、饼图、地图和关系图等。ECharts 提供了强大的交互能力,支持数据缩放、拖拽、动态更新和图表联动效果。它兼容各种主流浏览器,并且可以无缝集成到微信小程序、Node.js 等平台。ECharts 采用 Canvas 和 SVG 双渲染引擎,能够高效处理大规模数据,渲染速度快。此外,ECharts 提供了丰富的配置选项,用户可以通过调整配置项来定制图表的每一个细节,从颜色到动画都可以自由调整。
暂无评论...