从零开始构建大型语言模型的学习记录，记录了一步步构建语言模型的过程，适合想要深入了解NLP和机器学习的爱好者。

One-GLM是基于GLM架构的项目，移植到了使用OneFlow后端进行训练，能够大幅提升性能和显存利用率。

qwen.cpp是基于C++的Qwen-LM实现，旨在为用户提供高效、实时的聊天体验，支持跨平台使用，便于集成与自定义。

从自动微分开始完全从头开始GPT-2训练，一个快速且功能完备的深度学习库，使用Python和NumPy编写

用纯Pytorch原生实现的RWKV大语言模型的推理框架，提供高效的文本生成和推理功能，适合与PyTorch生态系统的其他工具集成，支持开源社区的贡献和协作。

mamba.c是一个用纯C语言实现的Mamba模型推断工具，能够在CPU上提供比PyTorch更快的推断速度，同时具有轻量级和易于集成的特点，适合在资源有限的环境中使用。

学习如何构建自己的NLP文本分类器，并将其作为API进行开放，方便用户进行文本分类任务。提供简单易用的接口，支持多种文本分类需求。

git2txt 是一个小工具，可以快速将GitHub代码库转换为文本文件，方便文档整理或AI模型的训练，具有良好的跨平台支持。

基于大规模生产工作流数据训练的智能网络Agent，可将开源大型语言模型微调为专门的网络Agent，帮助用户更高效地完成网络任务。它支持将大型语言模型微调以适应特定的网络任务，通过利用生产规模的工作流数据进行训练，显著提高用户在网络任务中的效率。ScribeAgent具有易于集成和扩展的架构，并欢迎社区的贡献。

PyTorch实用教程（第二版）：面向深度学习工程师的全面指南，覆盖从零基础到项目应用和工程化部署的各个阶段，旨在帮助读者轻松掌握PyTorch的使用

heyCLI 是一个基于 GPT-3 davinci-003 的自然语言命令行工具，用户可以使用自然语言与命令行终端进行交互，简化命令行操作，提高使用便捷性。

在Auto-GPT基础上的一个分支，增加了对本地运行llama模型的支持，该项目主要是一个概念验证，速度较慢，但有时会得到很不错的结果。

基于FastAPI、MLflow和Streamlit的数字识别模型的完整部署实例，提供高性能API、模型管理和交互式界面，支持模型的训练和预测。

LOMO是一种新的优化器，旨在降低大型语言模型（LLM）训练的门槛，促进全参数微调在有限资源下的应用。它通过将梯度计算和参数更新融合在一个步骤中，显著降低了内存使用，最高可节省10.8%。这使得在资源有限的环境中也能进行大规模模型的训练。

pg-text-query是由bit.io开发的项目，利用OpenAI的CodeX模型，将自然语言提示生成SQL查询，以便于用户更方便地进行数据库操作。

DeepSeek V3是由中国AI公司深度求索发布的一款高效开源AI模型，采用专家混组（MoE）架构，仅激活部分参数以减少算力需求，显著降低内存需求。模型规模达到671B参数，激活37B参数，推理成本低，性能接近甚至在某些领域超越GPT-4。在编程、数学等领域表现优异，支持多种部署方式，适用于自然语言处理、文档分析、对话系统等场景。

这是一个基于Mojo编写的Llama 2实现，旨在显著提升推理速度，充分利用Mojo语言的优势，支持Llama 2模型，并采用优化的内存管理，便于在各种环境中使用。

tiktoken 是一个用于处理文本的开源工具，专为 OpenAI 的大型语言模型（LLM）设计，能够高效地将文本转换为 token，并支持多种编码方式，兼容不同的 OpenAI 模型。它还提供了批量处理能力，便于用户进行大规模数据的处理和分析。

基于PyTorch的GPT-2模型训练器，优化效率和代码简化，实现现代技术如旋转嵌入，以更少的token达到相同验证损失。该项目专注于提升模型训练的效率，使得用户能够在多种深度学习任务中更便捷地使用GPT-2架构。

catgrad是一个基于范畴论的深度学习编译器，它不使用autograd进行训练，而是将模型的反向传播编译为静态代码。这意味着训练循环可以在不需要深度学习框架的情况下运行，甚至不需要catgrad本身。该项目支持多个编译目标，包括Python/numpy和C++/GGML等，从而提供更高的灵活性和性能。

CodeGeeX2 是基于 ChatGLM2 架构的第二代多语言代码生成模型，性能显著提升，仅需60亿参数即可超越150亿参数模型的性能。它支持多种编程语言的代码生成任务，广泛应用于代码补全、代码建议、代码翻译和跨语言代码转换等领域。

groq-appgen 是一个基于 Groq 的开源项目，允许用户通过手绘 UI 生成应用界面，并通过语音交流进行优化，具备快速响应和分享功能。

这是一个自动化机器学习系统，利用O1和Claude AI模型迭代开发、改进和优化机器学习解决方案，在Kaggle Spaceship Titanic挑战中实现了前1%的性能。

TorchCP是一个基于PyTorch的Python工具箱，旨在支持深度学习模型的保形预测研究，提供多种分类和回归方法。

支持将openai、claude、azure openai, gemini, 智谱AI, 讯飞星火API等模型服务方的调用转为openai方式调用，屏蔽不同大模型API的差异，统一用openai API标准格式使用，支持api-key的二次分发管理，方便灵活地配置不同大模型调用参数。

AI Toolkit是一个纯头文件的C++库，旨在为游戏中的非玩家角色(NPC)提供智能行为。它支持多种AI算法，具有良好的可扩展性，适合不同类型的游戏开发。该库设计轻量，能够有效减少性能开销，同时提供简单易用的API，方便开发者集成和使用。

将Andrej Karpathy的nanoGPT移植到Apple MLX框架，允许在苹果设备上训练OpenAI的GPT-2模型或自定义的GPT风格模型。该项目利用Apple MLX框架的优势，优化性能，简化模型训练流程，便于开发者在Apple生态中进行AI模型的开发和训练。

Wikipedia-Utils是一个专门为自然语言处理设计的工具，旨在高效地对维基百科文本进行预处理。它支持多种文本处理功能，能够处理大规模的维基百科数据，并且易于集成到现有的自然语言处理工作流中。该工具还提供丰富的API接口，方便用户根据需求进行定制化操作。

这个项目真的很酷！它从头开始实现 Llama 3。自述文件中逐步解释了整个过程。

Lace是一个用Rust编写的概率交叉分类引擎，提供可选的Python接口，旨在为科学研究提供高效的机器学习工具。它支持多种概率模型，并具备灵活的可扩展性。