Local AI Playground是一个革命性的本地应用,旨在消除AI实验的技术障碍,使用户能够轻松进行AI模型实验,无需专用GPU和复杂设置。
llama-utils是一个便捷高效的工具,旨在支持用户在本地或边缘设备上运行定制和优化的语言模型(LLM)。它提供简单的操作方式,帮助用户快速部署和管理模型,同时确保高效的性能和资源利用。
一个命令行工具,可以一条命令直接启动大模型前端、API、后端全家桶,包括Ollama, llama.cpp, vLLM, Open WebUI, Libre Chat, Dify等多个组件,支持一键部署。
Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具,支持通过 WebGPU 加速。它支持多种大型语言模型,包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath,并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验,仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。
学习如何构建自己的NLP文本分类器,并将其作为API进行开放,方便用户进行文本分类任务。提供简单易用的接口,支持多种文本分类需求。
gpt-cli 是一个命令行工具,允许用户方便地与多个AI模型(如ChatGPT、Claude和Bard)进行交互。它支持通过命令行发送请求,易于集成到其他工具和脚本中,并且提供自定义配置选项,适合开发者和技术用户使用。
WhisperPlus 是一款先进的语音转文本处理工具,致力于提供高准确率的语音识别,支持多种语言,并具备实时转录功能。它能够处理不同音质的音频,并提供用户友好的API接口,方便开发者进行集成和使用。
LangDrive是一个库,用于直接从用户现有的Google Drive存储、访问和管理AI数据,确保无与伦比的隐私和控制力。它具备直接调用主要大型语言模型(LLM)的能力。
一个用Rust语言编写的极简语言模型(LLM)推理工具,能够在没有机器学习库的情况下,在CPU上进行完整的语言模型推理,支持多种大型语言模型并具备多模态功能。
Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具,将模型的权重、配置、提示等打包成自包含的文件,可以在任何地方运行。
WhisperX是一个强制时间对齐的时间戳精确版Whisper语音识别工具,能够高效地进行多语言的语音识别,并生成带有精确时间戳的文本转录,适用于各种音频处理场景。
mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型,支持多种 AI 模型架构,并提供模型优化工具和简化的部署过程。
WilmerAI 是一个框架,可以路由到不同的LLM并协同多个LLM一起使用,以增强模型的能力并完成复杂任务。