Web LLM开源项目 – 浏览器内运行大型语言模型的工具

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

Web LLM的特点:

1. 支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath
2. 能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型
3. 利用 WebGPU 提供更快、更流畅的模型运行体验
4. 仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B
5. WebGPU加速框架，推理速度较WebAssembly方案提速6倍
6. 模型切片加载，动态加载必要参数块，内存占用降低70%
7. 流式响应优化，首token延迟小于800ms，支持实时对话交互
8. 隐私保护模式，所有计算在本地完成，数据不出浏览器

Web LLM的功能:

1. 在 Chrome 浏览器中直接加载和运行大型语言模型
2. 通过 WebGPU 加速选择的模型以提升性能
3. 在支持的设备上测试和使用不同的语言模型
4. 离线环境智能客服
5. 教育领域隐私敏感应用
6. 浏览器插件开发

相关导航

Airtrain.ai LLM Playground官网 – 无代码LLM实验室，轻松对比模型

Airtrain.ai LLM Playground是一个无代码的平台，可以同时对多种开源和专有LLM（如Claude、Gemini、Mistral AI、OpenAI模型、Llama 2、Phi-2等）进行质量、性能和成本的检查与比较。该平台旨在为用户提供简便的工具，以便在选择合适的语言模型时做出明智的决策。

Petals官网 – 开源工具，协作运行大语言模型

Petals是一个开源工具，旨在通过团队协作运行大型语言模型。用户可以加载模型的一小部分，与其他人合作以提供模型的其他部分，从而实现推理或微调。

DeepSeek-R1官网 – 与OpenAI-o1竞争的大型模型

DeepSeek-R1 是一个在 Hugging Face 上发布的大型模型，具有强大的性能表现，能够全面与 OpenAI-o1 竞争。该模型参数量达到685B，支持 BF16 和 int4 量化，并包含蒸馏模型 DeepSeek-R1-Distill-Qwen-32B。它适用于自然语言处理任务，能够进行文本生成和理解，同时也可用于模型评测和比较。

Sixtyfour Platform官网 – AI驱动的内容创作平台

Sixtyfour Platform 是一个为创作者、市场营销人员和作者提供的AI内容创作套件，能够生成高质量的多媒体内容，包括文本、图像、视频和音频，配备先进的工具。用户可以在平台上注册，选择内容创作工具，通过输入他们的想法或需求来生成多媒体内容。

GPT-3Anywhere官网 – 强大的文本生成工具

GPT-3 Anywhere 是一个基于OpenAI技术的文本生成工具，用户只需输入提示，便可获得高质量的文本补全。该工具集成于Chrome浏览器，方便用户随时随地使用。

rust-genai开源项目 – 多供应商生成式AI客户端

rust-genai是一个支持多个生成式AI服务的客户端，兼容Ollama、OpenAI、Anthropic等，提供统一的API接口，旨在简化各种AI服务的调用和集成过程，易于使用和扩展，并支持多种语言和模型。

Miniapps.ai官网 – 一个免费创建AI应用的平台

Miniapps.ai是一个免费平台，用户可以轻松创建、使用和分享AI驱动的应用程序。该平台目前支持文本生成工具和聊天机器人，用户可以根据特定需求进行完全定制，适用范围广泛，确保高质量的结果。

Writebot官网 – 简化OpenAI文本生成请求的工具

Writebot 是一个OpenAI文本生成抽象工具，旨在简化向OpenAI API发送请求的过程。用户只需安装Writebot，定义参数结构，然后使用该工具向OpenAI API发送请求，便可获得所需的输出。

Writarai官网 – 轻松创作引人入胜的文本

Writarai是一个强大的文本生成工具，旨在帮助用户轻松创作引人入胜的叙述和有影响力的文本。无论是社交媒体标题还是博客文章的标题，我们的生成器确保您的文字与您的愿景同样强大。

TextSynth官网 – 文本与图像生成的强大工具

TextSynth 提供对大型语言模型和文本到图像模型的访问，如 Llama2、Falcon、GPT-J、GPT-NeoX 等，用户可以通过 REST API 或者友好的操作界面进行文本补全、问答、分类、聊天、翻译和图像生成等多种任务。

aigclist官网 – 人工智能工具导航网站

Aigclist.com 是一个领先的人工智能工具导航网站，汇集了来自全球4000多款AI工具，涵盖图像生成、文本生成、视频生成、音频处理等多种场景。用户可以快速发现最新和最受欢迎的AI工具，以提高工作和生活效率。Aigclist.com 致力于推动人工智能的普及和发展。

Hypotenuse ai官网 – 智能写作助手，轻松生成内容

Hypotenuse AI 是一款AI写作助手和文本生成工具，用户只需提供几个关键词，即可快速生成原创且富有洞察力的文章、产品描述等。该AI写作生成器利用先进的自然语言处理算法，在几分钟内创建高质量内容，节省用户时间和精力。

My tools.ai官网 – AI内容生成平台

My tools.ai是一个软件即服务平台，提供对话、音乐、图像和代码等AI内容生成工具，基于强大的语言模型如ChatGPT、Dalle-3和Replicate，帮助开发者和创作者轻松生成所需内容。

BioMedLM开源项目 – 生物医学领域GPT模型

BioMedLM是由斯坦福大学和DataBricks团队合作开发的基于GPT风格的自回归语言模型，具有2.7亿参数，专门在PubMed摘要和全文上训练。该模型最初名为PubMedGPT，但由于NIH对'PubMed'商标的所有权，现已更名为BioMedLM。该项目提供了用于预训练和微调的代码，并可通过Hugging Face平台获取模型。

llm.mojo开源项目 – Andrjey Karpathy最小化LLM代码的Mojo版

llm.mojo是Andrjey Karpathy将大型语言模型(LLM)最小化代码移植到Mojo编程语言的版本，旨在提供高效的模型推理和简化的学习体验。