实时推理

DocLayout-YOLO-DocStructBench 是一个基于 YOLO-v10 的文档布局检测模型，由上海 AI 实验室开发。该模型通过多样化文档预训练和结构优化，实现了对各种文档类型的实时鲁棒检测。预训练阶段采用 Mesh-candidate BestFit 算法生成 DocSynth-300K 数据集，显著提升了模型在不同文档类型上的微调性能。该模型适用于文档理解任务，如提取文本、图像和表格等。

YOLOE是一个实时高效的目标检测与分割模型，支持文本、视觉和无提示三种模式，具有卓越的零样本文本提示性能，训练成本降低3倍，推理速度快，YOLOE-v8-S在LVIS上的AP达到27.9，速度提升1.4倍。

VPTQ（Vector Post-Training Quantization）是一种创新的向量后训练量化技术，由微软开发。它能够在无需重新训练的情况下，将大型模型（如70B和405B模型）压缩为1-2位，同时保持高精度和高效的推理性能。该技术利用矢量量化代替传统的基于标量的权重量化，使用查找表将向量压缩为索引，从而实现更高的准确度和吞吐量。

该项目让你可以在浏览器里跑一个 DeepSeek-R1-Distill-Qwen-1.5B 模型，使用 🤗 Transformers.js 和 ONNX Runtime Web，本地运行。

SuperDuperDB 允许用户在不需要将数据移动到复杂的管道和专业向量数据库的情况下，轻松构建AI应用。它能够将AI和向量搜索直接整合到数据库中，支持实时推理和模型训练，且只需使用Python编程。

LLMOps是一个灵活、稳健且高效的Python工具包，专为大型语言模型(LLM)的运营设计。它提供了模型注册、实验跟踪和实时推理等关键功能，帮助开发者和研究人员更好地管理和优化他们的模型。该工具包支持高效的操作，并具备灵活的集成能力，适用于各种机器学习工作流。

sherpa 是一个针对 llama.cpp 模型的演示应用，专为移动设备设计，提供高效的模型推理和用户友好的界面。

Dataoorts GPU Cloud专为AI开发者构建，提供GC2和T4s GPU实例，以助力开发和部署任务。其GPU实例具有高性价比，确保每个人都能使用强大的计算能力。

SuperDuperDB允许用户在无需将数据移动到复杂管道或专门的向量数据库的情况下，轻松构建AI应用。它直接与数据库集成AI和向量搜索，支持实时推理和模型训练，只需使用Python。

SuperDuperDB 允许用户在不需要将数据移动到复杂的管道和专业向量数据库的情况下，轻松构建AI应用。它能够将AI和向量搜索直接整合到数据库中，支持实时推理和模型训练，且只需使用Python编程。

Arcade AI是一个Python SDK和CLI工具包，专注于提升LLM应用和智能代理的能力。它提供多种预构建工具包，支持GitHub、Gmail、Slack等服务的集成，简化了开发者在构建AI应用时连接用户数据和服务的复杂性。此外，Arcade AI支持OpenAI、Anthropic等多种语言模型，并具备OAuth认证和自定义工具开发功能。

MindsDB是一个AI开发云平台，帮助开发团队快速且可扩展地构建AI驱动的应用程序。它通过将数据库与流行的AI框架连接，简化了将机器学习应用于最终用户应用程序的过程。MindsDB使团队能够提升现有技能，以构建和维护AI/ML应用程序。

FoxyApps是一个无代码平台，鼓励用户利用ChatGPT创建AI驱动的简单应用，适合开发者和普通用户，帮助他们在商业中利用AI技术。

Props AI是一个简单的点击界面，允许用户通过低代码实现构建复杂的AI API。用户只需编写带变量的提示，选择模型，然后将代码片段复制粘贴到应用程序中。

Modus是一个开源的无服务器框架，专为构建智能功能和API而设计，基于WebAssembly技术，旨在简化AI模型、数据和业务逻辑的集成。它提供了一个隔离的执行环境，以增强性能和可移植性，支持快速开发和部署智能API。

Bisheng是一款领先的开源AI大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。

MongoDB开发的生成式AI用例项目库，包含RAG(检索增强生成)、AI代理、行业特定应用等多个实用示例。提供了与MongoDB集成的完整解决方案，包括向量数据库、操作数据库和记忆提供者等功能，支持LlamaIndex、Haystack和LangChain等主流框架的集成应用。

Xpress AI是一个创新平台，旨在简化人工智能在应用中的集成，使各类开发者都能轻松访问先进的AI功能。通过单一API提供全面的工具套件，Xpress AI显著减少开发时间，使开发者能够快速高效地整合AI特性。