AI交流(进群备注:Tiny-Universe)

Tiny-Universe 是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南。该项目旨在帮助有传统深度学习基础的读者从底层原理出发,纯手搓搭建一个清晰、可用的大模型系统,包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。最近新增了从零开始pretrain Llama3部分。
Tiny-Universe的特点:
- 1. 从零开始手写代码
- 2. 深入理解大型语言模型(LLM)的构建
- 3. 实践模型结构、RAG、Agent和Eval任务
- 4. 深入剖析大模型原理——Qwen Blog
- 5. 如何评估你的大模型——Tiny Eval
- 6. 纯手工搭建 RAG 框架——Tiny RAG
- 7. 手搓一个最小的 Agent 系统——Tiny Agent
- 8. 深入理解大模型基础——Tiny Transformer
- 9. 从零开始pretrain Llama3—— Tiny Llama
Tiny-Universe的功能:
- 1. 用于学习和理解大型语言模型的构建过程
- 2. 用于实践和实现模型结构、RAG、Agent和Eval任务
- 3. 用于教育和培训大模型开发技能
- 4. 帮助有传统深度学习基础的读者从底层原理出发,纯手搓搭建大模型系统
- 5. 提供大模型全链路的构建指南,包括大模型本身、RAG 框架、Agent 系统及大模型评估体系
- 6. 从零开始pretrain Llama3,深入理解大模型的基础和原理
- 7. 通过手搓的方式,搭建清晰、可用的大模型系统
相关导航
暂无评论...