MiniMind开源项目 – 低成本快速训练超小语言模型
MiniMind 是一个开源 AI 项目,旨在从零开始,以极低的成本和极短的时间训练出超小语言模型。项目涵盖了从数据集清洗到模型训练的全过程,并提供了多种先进的算法和模型结构。通过仅需 3 块钱成本和 2 小时,即可训练出 25.8M 的超小语言模型,最小版本体积是 GPT-3 的 1/7000,适合普通个人 GPU 快速训练。项目还拓展了视觉多模态的 VLM: MiniMind-V,所有核心算法代码均从 0 使用 PyTorch 原生重构,不依赖第三方库提供的抽象接口。这不仅是大语言模型的全阶段开源复现,也是一个入门 LLM 的教程。