开源的前端项目,旨在在浏览器中运行大型语言模型(LLM),通过 MLC-LLM 和 WebLLM Chat 实现,支持用户通过简单的界面与模型进行交互,无需复杂的配置或安装
Wingman是一个聊天机器人,允许用户在个人电脑和Mac(无论是Intel还是Apple Silicon)上本地运行大型语言模型。它提供了一个易于使用的聊天界面,使用户能够无需编写代码或使用命令行即可使用本地模型。当前可用的首个测试版名为Rooster。
LM Studio 是一个强大的工具,能够让用户在本地发现、下载和运行各种大型语言模型(LLM),用户可以在自己的笔记本电脑上离线使用这些模型,提供了便捷的应用内聊天界面,支持与模型进行交互,同时用户还可以从 HuggingFace 存储库下载兼容的模型文件,并在应用程序主页上发现新的、值得注意的 LLM。
Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具,支持通过 WebGPU 加速。它支持多种大型语言模型,包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath,并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验,仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。
mlx-llm是基于苹果MLX框架的一个应用平台,旨在为用户提供一个运行和测试语言模型的环境。它支持多种语言模型,并提供交互式实验环境,使得机器学习实验和原型开发变得更加高效。用户可以轻松集成和扩展功能,进行模型输出的可视化和调试,满足各种实验需求。
FreeWilly1 是一个基于 LLaMA 65B 的自然语言处理模型,在一些评测中表现优异,适合多种语言生成和理解任务。
这个开源项目是一个响应式聊天应用程序,使用了OpenAI的GPT-4进行动力支持。它具有响应流、代码高亮和各种预设功能,适用于开发人员。这个项目使用了Next.js、React和Joy等技术。
这是一个用于演示基于Swift的聊天和语言模型测试的Mac应用,旨在展示Hugging Face的swift-transformers库的能力。它提供了一个友好的用户界面,用户可以轻松与多种语言模型进行互动,测试其响应和性能。
AI Docs是一个平台,允许用户塑造和训练多个语言学习模型(LLM),以自动化各种任务。这些模型可以导出为API、Telegram机器人或WhatsApp机器人。用户可以使用提供的工具和资源创建和训练自己的LLM,指定所需功能并相应地训练模型。一旦训练完成,LLM可以被导出并集成到不同的应用程序或平台中。
Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具,将模型的权重、配置、提示等打包成自包含的文件,可以在任何地方运行。
Mikupad是一个轻量级、高效的语言模型前端,支持多种后端,具备会话持久性和预测撤销/重做等功能,旨在打造一个简单而强大的文本生成界面。
一个 Transformer 可视化交互式学习工具,通过输入文本实时观察各个组件如何处理,最终预测下一个 Token。
一个Mamba的最小化实现。Mamba是CMU和普林斯顿的研究成功。这种SSM架构在语言建模上与Transformers不相上下,而且还能线性扩展,同时具有5倍的推理吞吐量。