支持多策略蒸馏,动态资源分配,微调等功能的蒸馏框架,适合学习或与现有架构集成。
最小 PyTorch 实现的 GPT-2 和 Llama,旨在简化代码以便更容易理解和使用,并且能够在短时间内训练出性能良好的自然语言生成系统。
这是一个可以让你轻松运行LLaMA2聊天模型的项目,支持官方版和中文版,仅需3个步骤即可完成部署。它可以在无GPU的环境中运行,适合低配置设备,使用INT4量化,支持5GB至14GB的显存配置。
femtoGPT 是一个使用纯 Rust 编写的最小生成预训练 Transformer 实现,旨在提供轻量级、高效的自然语言生成能力,易于集成和扩展,适合各种机器学习应用。
TinyGPT是一个基于picoGPT项目,从零开始用C++11实现的GPT-2推理框架,旨在为嵌入式系统和资源受限环境提供高效的文本生成和自然语言处理功能。
Thermostat是一个集合,提供多种自然语言处理(NLP)模型的解释及其分析工具,帮助用户深入理解模型的决策过程及性能评估。
一个收集了与大语言模型(LLM)及其工具使用相关的论文和资源的项目。
该项目提供系统化的深度学习学习资料,专注于大语言模型的对齐,涵盖多种深度学习技术和方法,适合不同水平的学习者。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型