WebGPU加速大语言模型

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。

开源的前端项目，旨在在浏览器中运行大型语言模型（LLM），通过 MLC-LLM 和 WebLLM Chat 实现，支持用户通过简单的界面与模型进行交互，无需复杂的配置或安装

UMbreLLa是一个使大型语言模型在普通设备上高效运行的工具，通过独特的技术组合，使得70B级别的模型在RTX 4070Ti上能够达到类似人类阅读速度的性能，尤其擅长处理编程任务。

llama-node是一个基于Node.js的项目，旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型，适合个人计算机使用。它基于llama-rs构建，旨在促进AI技术的民主化，使更多开发者能够轻松访问和使用大语言模型。

gigaGPT是一个用于训练具有数百亿参数的大型语言模型的代码库，仅有500多行代码。它受到Andrej Karpathy的nanoGPT启发，但专为Cerebras硬件优化，能够扩展到GPT-3规模的模型。gigaGPT旨在提供一个干净、高效和可用的代码库，而不是追求训练最先进的模型。

PySpur是一个可视化大型语言模型推理路径的图形界面，旨在帮助开发者构建、测试和部署复杂的计算图，从而增强模型的思考能力。

Airtrain.ai LLM Playground是一个无代码的平台，可以同时对多种开源和专有LLM（如Claude、Gemini、Mistral AI、OpenAI模型、Llama 2、Phi-2等）进行质量、性能和成本的检查与比较。该平台旨在为用户提供简便的工具，以便在选择合适的语言模型时做出明智的决策。

Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。

ChatGPT Web 是一个基于 express 和 vue3 搭建的 GPT-3 模型演示网页，提供用户友好的界面，支持多种语言的实时对话。该项目响应快速，能够轻松部署到多种平台，用户可以通过该网页与 GPT-3 模型进行自然语言交流。

LLM Compressor 是一个专注于大型语言模型压缩的工具库，支持训练中和训练后的压缩技术。它与 PyTorch 和 HuggingFace Transformers 兼容，设计灵活易用，便于快速实验。此外，它还专门为 vLLM 提供量化优化功能，支持将 Hugging Face 格式的模型转换为 safetensors 格式，特别适用于量化 Hugging Face 上新发布的小模型。通过集成多种压缩算法（如 GPTQ、SparseGPT 和 SmoothQuant），LLM Compressor 在保持模型精度的同时，显著提升推理效率和资源利用率。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

LaMini-LM是一个对多个迷你大语言模型进行微调的项目，旨在提升模型的性能，其中包括经过微调的GPT-2，其性能可与LLaMa的Alpaca-7B相媲美。

llama-utils是一个便捷高效的工具，旨在支持用户在本地或边缘设备上运行定制和优化的语言模型(LLM)。它提供简单的操作方式，帮助用户快速部署和管理模型，同时确保高效的性能和资源利用。

Deita旨在为大型语言模型(LLM)的指令微调提供自动数据选择工具和高质量的对齐数据集，Deita模型能通过比其他SOTA LLM少10倍的指令微调数据进行训练，达到与它们相媲美的性能。

midGPT是一个基于Jax和Equinox的大型语言模型分布式预训练框架，能够在云TPU切片上高效训练数十亿参数的GPT风格解码器模型，旨在提升语言模型的训练效率和性能。

该项目是一个专注于大型语言模型（LLM）终身学习的资源库，收集了相关的精华综述、研究资源和论文，旨在促进LLM的持续学习能力和性能提升。

LLaMA是Facebook研究开发的一款先进语言模型，旨在处理多种自然语言处理任务，声称在性能上优于GPT-3。它具备高质量文本生成能力，支持多种规模以满足不同的部署需求，同时采用高效的训练技术，能够先进地处理上下文信息。