优化本地推理

NanoLLM 是一个专门为大语言模型(LLM)提供优化本地推理的平台，支持 HuggingFace 风格的 API，具备量化、视觉/语言模型、多模态Agent、语音处理、矢量数据库集成和检索增强生成(RAG)等功能。

HyperDB是一个针对大规模语言模型(LLM)应用的超快本地向量数据库，具有高度优化的C++后端向量存储。它通过MKL BLAS实现硬件加速操作，并支持id和元数据等高级功能，旨在提升向量检索和管理的效率和性能。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

OpenLLaMA是LLaMA模型的开源复现，基于RedPajama数据集进行训练，采用与LLaMA一致的预处理步骤、超参数设置、模型结构、上下文长度、训练步骤、学习率调度和优化器，旨在提供一个高效且可访问的语言模型。

基于语义的学术论文搜索引擎，集成了Chainlit Copilot和Literal AI，通过arXiv API获取相关论文，并通过Chroma数据库实现检索增强生成（RAG）技术，提供用户交互式体验和应用性能观察。

SoundHound是一个语音AI平台，提供语音驱动设备、服务、车辆和移动应用的对话智能解决方案。它可以集成到各个行业和用例中，帮助用户构建自己的语音助手，访问内容领域。

UVR5-UI 是一款功能强大的人声伴奏分离 AI 工具，提供在线简洁易用的操作界面，支持选择不同的 AI 模型以及输出格式和质量，并且能够进行批量处理，旨在满足用户的多样化需求。

Gemma Open Models是谷歌推出的一系列轻量级、先进的开源模型，旨在支持快速的AI研究和应用。用户可以通过快速入门指南、基准测试、在谷歌云上训练和部署这些模型，并积极参与社区以推动AI研究。

datatrove是一个平台无关的数据处理开源工具，旨在解放数据处理中的脚本疯狂，提供一套可定制的管道处理块，支持高效的数据处理，适用于不同规模的数据。

SciPhi是一个云平台，旨在简化开发人员构建和部署无服务器检索增强生成（RAG）管道的过程。用户可以通过直观的框架构建RAG管道，并一键将解决方案部署到生产环境中，同时实时监控嵌入、RAG和评估结果，并利用自动扩展的无服务器技术进行扩展。