一个完整的大语言模型(LLM)可解释性研究项目，使用稀疏自编码器(SAE)分析Llama 3.2模型，由纯PyTorch实现且可完全复现。包含从数据采集、SAE训练、特征分析到验证的全套流程，可帮助理解模型内部行为和概念表示
本项目研究了大语言模型中的epoch次数设置问题，深入探讨训练epoch数量对模型性能的影响，以及在不同数据集上epoch数量的变化如何影响训练的充分性和效果。
llm-viz是一个用于GPT风格大语言模型的三维可视化工具，能够帮助用户深入理解模型的内部结构及其行为。通过交互式的方式，用户可以探索模型的输入、输出以及权重分布，提供多种视角和缩放功能以进行详细分析。
该项目提供系统化的深度学习学习资料，专注于大语言模型的对齐，涵盖多种深度学习技术和方法，适合不同水平的学习者。
Othello-GPT的工作令人信服地证明了大型语言模型能够构建复杂的世界模型，理解世界的结构和规则，超越简单的模式识别。
可微分的刚体物理模拟器，用于在虚拟环境中模拟物体的物理行为，比如物体的碰撞和运动，帮助研究人员和开发者更好地理解和预测物理世界中的物体交互
Hallucination Leaderboard是一个用于评估大语言模型在生成摘要时的幻觉表现的排行榜，旨在提高对模型输出质量的理解和评估方法的透明度。该项目总结了多个知名语言模型在对短文进行摘要时的幻觉产生频率，目前显示GPT-4和GPT-3.5表现最佳。
