Tiny-Universe 是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南。该项目旨在帮助有传统深度学习基础的读者从底层原理出发,纯手搓搭建一个清晰、可用的大模型系统,包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。最近新增了从零开始pretrain Llama3部分。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型