从零开始构建大语言模型

LLMs-from-scratch 是一个资源库，提供构建大型语言模型（LLM）所需的实践经验和基础知识。该项目通过逐步指导、清晰的文字、图表和示例，帮助用户深入了解LLM的内部工作原理，并创建自己的LLM。内容包括文本数据处理、注意力机制实现、模型预训练与微调等，适合初学者和进阶用户。

Eureka Labs是一所全新的AI原生学校，采用“教师 + AI 共生”的模式，通过AI教学助手来扩展和指导人类专家编写的课程材料，为学生提供全面的学习体验。

一个Demo项目，基于它可以构建自己的React项目，实现与ChatGPT大模型的实时语音交流。

SWE-ReX是一个AI助手的沙盒代码执行框架，支持本地或云端运行，使得AI能够轻松执行各种命令，同时确保代码的安全性和灵活性。

Nebulgym是一款深度网络训练加速框架，用户只需增加几行代码即可显著提升AI模型的训练速度，且无需对现有训练设置进行修改。它支持多种深度学习框架，便于用户快速集成和使用。

Winston AI旨在帮助用户识别文本是由人类还是机器人生成，支持多种大型语言模型，并具有直观的用户界面，适合写作者、教育工作者和网络发布者使用。

vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。

AI Collective Tools是一个激动人心的开源社区，致力于创建一个全面的工具集合，供开发者、研究人员和爱好者访问和协作。该项目旨在促进创新和合作，使用户能够共享知识、资源和技术，从而提升AI领域的整体发展。

Effortless AI是一个强大的平台，利用定制的GPT机器人帮助用户在学术工作中取得突破。无论是学习新技能如统计或编程，还是通过移动机器人随时随地学习任何语言，该项目都能提供帮助。还可以理解ChatGPT的幻觉现象及其预防方法。

一个专注于从NLP和计算机视觉（CV）的基础知识到视觉语言模型（VLM）前沿技术的系列教程，提供学习路线图，涵盖Word2Vec等基础知识，并逐步深入视觉语言模型技术，适合初学者和有经验的开发者。

Chunker AI 专业地将文本分割成块，以便使用 ChatGPT 进行批处理。它能将目录转化为完整书籍，汇总章节内容，修复格式，或翻译文本，功能丰富，应用广泛。

本项目旨在分享大模型相关技术原理以及实战经验，包括大模型工程化和应用落地，降低学习难度，促进技术普及。