深度学习模型部署

OpenVINO深度学习部署工具集，支持Open Model Zoo预训练模型以及100多种流行格式的开源和公共模型，如Caffe, Tensorflow, MXNet和ONNX。该工具集提供高效的深度学习模型部署工具，优化模型推理性能，广泛应用于计算机视觉、自然语言处理等领域。

使用C语言加速的语言模型推理项目，旨在实现单个GPU单批次的硬件利用最大化，具有最小的实现和依赖。该项目通过高效的算法和实现方式，优化了GPU的性能，适合多种语言模型的应用场景。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

Astra AI使得将任何应用和API与大型语言模型（LLM）进行功能调用的集成变得简单。我们会处理JSON模式和最终用户身份验证的设置。即使您的LLM没有针对功能调用进行微调，我们也可以提供代理集成的方法。

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

开源深度学习平台

FluidStack是一个全球数据中心网络的GPU云平台，提供超过50,000个GPU，支持AI和大语言模型（LLM）的训练。用户可以免费开始使用并无缝扩展。

LLM微调中心，用于将各种大型语言模型进行微调，以适应个性化用例，提供丰富的微调脚本和最新研究成果，支持模型部署及自定义微调，旨在提高模型在特定数据集上的性能。

Fine-Tuner AI是一款强大的工具，利用尖端的微调技术提升您的自然语言处理(NLP)模型性能。它可以在更少的数据下以极短的时间内实现更好的结果。用户只需将NLP模型和数据上传到平台，Fine-Tuner将应用其先进的微调算法，优化模型以提高性能。优化后的模型可以轻松集成回现有工作流程中。

Substrate AI推理平台是一个优化的API，用于执行多步AI程序，提供快速高效的执行。用户可以连接节点，使用优化的机器学习模型、内置存储、代码解释器和逻辑控制流，轻松创建无缝工作流。

Bisheng是一款领先的开源AI大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。

OpenLM是一个与OpenAI兼容的库，可以调用其他供应商（如HuggingFace，Cohere等）的LLM。它的使用方式与OpenAI的Completion API相似，返回的响应结构也相似。

InstantLLM是一个移动应用和Python包，旨在通过简单的几行代码，实现语言模型的快速和轻松集成。

一个基于斯坦福的 Alpaca，并进行了中文优化的大语言模型项目，愿景是成为能够帮到每一个人的LLM Engine。