从零pretrain Llama3

Tiny-Universe 是一个从原理出发、以“白盒”为导向、围绕大模型全链路的“手搓”大模型指南。该项目旨在帮助有传统深度学习基础的读者从底层原理出发，纯手搓搭建一个清晰、可用的大模型系统，包括大模型本身、RAG 框架、Agent 系统及大模型评估体系。最近新增了从零开始pretrain Llama3部分。