Cray-LM开源项目 – 开源的LLM训练与推理平台

一个开源的LLM训练与推理一体化平台，让大模型的开发和部署变得简单高效。

Cray-LM的特点:

1. 高性能推理，基于vLLM优化引擎
2. 分布式训练，继承Megatron-LM的强大能力
3. 开箱即用，提供OpenAI兼容接口和简单CLI

Cray-LM的功能:

1. 用于大模型的训练和推理
2. 支持分布式环境下的训练
3. 便于与OpenAI的接口集成

相关导航

Linear-MoE开源项目 – 高效训练大型语言模型的混合专家库

Linear-MoE 是一个基于 Megatron-Core 的线性混合专家模型库，专注于为高效训练和部署大型语言模型提供强大支持。它集成了多种线性注意力机制，支持多种模型架构，并具备高效的分布式训练能力，助力大规模模型开发。此外，Linear-MoE 还提供了丰富的预训练和微调脚本，极大地简化了开发流程。

SkyNet开源项目 – 开源AI网络优化框架

SkyNet是一个专为网络优化设计的开源AI框架，为开发者提供提升网络模型性能的工具。它支持复杂网络任务的高效处理，适用于从研究到部署的多种场景。

DGX Spark官网 – 世界最小AI超算，桌面级开发利器

DGX Spark是NVIDIA于2025年推出的个人AI超级计算机，采用Grace Blackwell架构，体积仅150x150x50.5mm，功耗170瓦。配备GB10 Grace Blackwell Superchip，提供1000 AI TOPS算力（FP4精度）和128GB统一内存，可处理2000亿参数模型推理。预装全套NVIDIA AI软件栈，支持原型设计、微调和边缘AI部署，定价3999美元，面向开发者、研究人员和教育场景。

VectorLM开源项目 – 优化中型模型在资源受限环境的训练

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。

TinyLM开源项目 – 浏览器中的轻量级AI推理框架

TinyLM是一个在浏览器中运行AI模型的轻量级推理框架，支持多种模型，如DeepSeek、Llama 3.2等，完全兼容OpenAI接口，无缝对接现有应用，并提供详细的进度跟踪和中断支持，以提升用户体验。

大型语言模型（LLM）学习课程开源项目 – 系统学习LLM的构建与应用

该项目提供丰富的学习路线图和Colab笔记本，帮助用户从基础知识到前沿技术，逐步掌握大型语言模型（LLM）的构建与应用。课程内容涵盖数学、Python编程、神经网络核心知识，以及如何构建高性能模型和开发部署LLM应用。

Efficient Large LM Trainer开源项目 – 大语言模型的高效训练

Efficient Large LM Trainer 是一款专为大规模语言模型设计的高效训练工具，旨在通过优化的算法和资源管理，提升训练速度并减少内存占用，支持多种硬件设备，便于用户集成和使用。

Megatron-LLaMA开源项目 – 优化的LLaMA训练框架

Megatron-LLaMA 是阿里巴巴内部优化的 LLaMA 训练框架，旨在提供在 Megatron-LM 上训练 LLaMA 模型的最佳实践，使得训练过程更加轻松、快速和经济。该框架特别适合大规模模型训练，并高效利用硬件资源，适用于企业内部 AI 模型的优化和部署。

Kvax开源项目 – JAX框架下的高效FlashAttention实现

Kvax是为JAX框架打造的高效FlashAttention实现，专为长序列和分布式训练优化。它通过支持高效文档掩码计算、实现上下文并行化以及优化长序列处理性能，显著提升了训练效率和内存利用率。

Perceiver IO开源项目 – 通用多模态处理模型

Perceiver IO是DeepMind的Perceiver IO的非官方PyTorch实现，支持分布式训练，具有通用输入处理能力，适用于图像、文本和音频等多种任务，设计高效，能够处理大规模数据。

PyTorch Lightning开源项目 – 简化PyTorch训练

PyTorch Lightning是一个轻量级的PyTorch封装，旨在简化复杂深度学习模型的训练过程，帮助开发者更专注于研究和创新。通过结构化代码，PyTorch Lightning将常见的训练任务自动化，支持分布式训练和模型加速，大大提升了实验效率，适合用于学术研究和工业应用。

Manifold开源项目 – AI驱动的工作流自动化平台

Manifold 是一个强大的AI驱动的工作流自动化平台，旨在简化复杂任务并提高效率。它集成了多种AI模型，支持文本生成、图像生成和检索增强生成（RAG）。平台提供强大的语义搜索能力，结合PGVector和SEFII引擎，支持多种流行AI端点，如OpenAI、llama.cpp、Anthropic等，扩展性强。Manifold 使用 Vue+Go+Python 开发，支持 OpenAI 兼容接口、本地 llama.cpp 和 mlx，以及 PGVector 作为向量数据库进行 RAG 工作，并提供 Docker 镜像部署。

torchtune开源项目 – PyTorch的LLM微调库

torchtune是一个用于训练、微调和实验大型语言模型（LLM）的PyTorch库。它利用最新的PyTorch API实现内存效率和性能优化，并支持YAML配置以简化训练和评估流程。torchtune适用于微调LLM以用于文本生成、问答和对话生成等任务，并支持量化、剪枝等后训练技术，以针对特定用例优化模型。此外，torchtune与Hugging Face Transformers、torchao和EleutherAI的LM Eval Harness等工具集成，提供了丰富的功能和灵活性。

accelerate开源项目 – 简化PyTorch训练脚本的运行

accelerate是一个工具，可以帮助用户在多种设备上简单地运行PyTorch训练脚本，支持多GPU和TPU训练，并提供了易于集成的解决方案。它使得混合精度训练变得简单，同时支持分布式训练，用户可以通过命令行接口轻松启动训练任务。