Cerebras硬件优化

gigaGPT是一个用于训练具有数百亿参数的大型语言模型的代码库，仅有500多行代码。它受到Andrej Karpathy的nanoGPT启发，但专为Cerebras硬件优化，能够扩展到GPT-3规模的模型。gigaGPT旨在提供一个干净、高效和可用的代码库，而不是追求训练最先进的模型。

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

一个Python包，用于存储、检索和动态创建GPT模型的提示。旨在简化管理大型语言模型的过程，使在生产环境中改进语言模型变得更加简单。

llama-node是一个基于Node.js的项目，旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型，适合个人计算机使用。它基于llama-rs构建，旨在促进AI技术的民主化，使更多开发者能够轻松访问和使用大语言模型。

VERSE-65B 是由深圳元象科技自主研发的支持多语言的大语言模型，参数规模为 650 亿，开源的底座模型。

MAP-NEO/document-convert是一个高效的转换管道，能够将PDF或扫描图像转换为类似Markdown格式，保留文档结构和格式，适用于多模态艺术投影项目。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

TinyZero是一个以不到30美元的成本，利用veRL强化学习训练框架，在qwen2.5模型基础上进行训练的项目，能够复现DeepSeek R1论文中的'Aha moment'，并提供完整实验日志和开源代码，方便复现和学习。

由百川智能开发的一个开源可商用的大规模预训练语言模型，支持中英双语，基于Transformer结构，训练于约1.2万亿tokens，具有70亿参数，提供4096的上下文窗口长度，在标准的中文和英文权威benchmark（C-EVAL/MMLU）上均取得同尺寸最好的效果。

mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。

VPTQ是一种针对大型语言模型的极低比特向量后训练量化方法，旨在通过量化技术提高模型的计算效率和存储效率，同时保持模型性能。该项目适用于各种大型语言模型的优化，能够显著减少模型的内存占用和计算资源需求。