推理API

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

Bisheng是一款领先的开源AI大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。

vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。

AMD GPU推理引擎：基于 Docker 的 AMD GPU 推理引擎项目，旨在在 AMD GPU 上运行大型语言模型（LLMs），特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能，并支持容器化部署，方便用户进行模型的集成和使用。

Datature是一个完整的AI视觉平台，允许团队和企业在不编写任何代码的情况下构建计算机视觉应用。它提供数据集管理、标注、训练和部署等多种功能，旨在简化整个计算机视觉开发流程。用户只需注册并登录到平台，即可管理数据集、标注图像或视频、使用自动化工作流程训练计算机视觉模型，并将模型部署到生产环境中。

DirectAI使用户能够快速构建强大的计算机视觉模型，无需编码或训练数据。它利用大型语言模型和零样本学习，根据用户的描述生成适合的模型。

Open Interpreter Local III是一款开源的本地模型运行和训练工具，支持高速推理和个性化模型定制。

LLM Prompt & Model Playground 是一个让用户可以并排测试两个LLM提示、模型或配置的工具。它支持多种输入的实时测试，极大地加快了提示和模型的测试过程，并且提供了慷慨的免费使用额度。该项目由Context.ai开发。

VardaGPT是一个程序员在GitHub上记录的项目，利用ChatGPT生成完整的应用程序开发过程，支持多种编程语言，并提供详细的使用文档和示例，旨在简化开发流程和项目管理。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

Okrolearn是一个由Okerew创建的机器学习库，旨在简化机器学习模型的构建和训练过程。它提供了一系列工具和功能，帮助开发者快速实现和优化机器学习算法，适用于研究和实际应用。

Kogito是一个专注于自然语言处理中的常识推理的工具包，集成了多种推理算法，并提供易于使用的API，支持自定义知识库，使得用户能够灵活地进行知识推理任务。

QikPM是一个专为产品经理设计的工具，旨在提升工作效率并优先考虑增值工作。它提供了基于AI的用户故事生成，简化应用开发流程，并改善团队协作。

Refactory是为软件开发者提供的游戏改变者，利用AI技术提升代码质量并简化开发流程。通过智能建议、实时反馈和代码分析，Refactory帮助开发者识别潜在错误和性能瓶颈，同时支持多种编程语言，提升软件的可靠性与效率。

Hexagram利用人工智能和云服务创建动态、响应式的游戏世界。我们的平台简化了开发流程，赋能创作者，并促进协作。致力于改变互动体验，我们正在重塑游戏及其相关领域。

Branches是一个基于图的高级算法原型工具，专为大型语言模型(LLM)的推理和规划设计，旨在提升模型的推理能力和优化决策过程。

使用C语言加速的语言模型推理项目，旨在实现单个GPU单批次的硬件利用最大化，具有最小的实现和依赖。该项目通过高效的算法和实现方式，优化了GPU的性能，适合多种语言模型的应用场景。

Sublayer AI 是一个将生成式人工智能引入产品开发流程的平台，帮助快速构建高质量软件，利用专门从事软件开发的AI代理，降低传统软件开发服务的成本。项目负责人可以在每一步都保持控制，审查、修改和批准工作的进展。