REST API实时推断

PoplarML是一个平台，允许用户轻松部署生产就绪且可扩展的机器学习系统，工程投入极少。它提供命令行工具，支持将ML模型部署到GPU集群，并兼容Tensorflow、Pytorch和JAX等流行框架。用户可以通过REST API端点调用模型，实现实时推断。

UbiOps是一个强大的模型服务和编排平台，旨在简化AI和机器学习项目的管理，无需用户管理Kubernetes和云基础设施。

modelkit是一个极简但功能强大的Python MLOps库，方便将机器学习模型快速部署到产品中，兼容多种框架，提供模型版本控制和多种数据源支持。

Deploifai是一个允许用户高效、轻松地部署和管理AI模型的平台，提供无缝的生产环境模型部署体验。

Grid.ai是一个专注于机器学习的平台，旨在使最先进的AI研究民主化，而不是关注基础设施。用户可以通过注册网站并参考提供的文档和教程来使用Grid.ai。

Semiring 是一个简化机器学习模型构建和部署的平台，用户只需五个数据样本即可创建数据集，通过简单的 API 部署模型，无需任何机器学习专业知识。

Domino是一个开源的无代码平台，用于创建、管理、协作和部署高级数据和AI工作流。它缩短了创意与实现之间的距离，让用户无需编写任何代码即可轻松构建复杂的数据和AI工作流。

这是一个众包AI计算的平台，能让你把各种设备汇聚起来，变成强大的AI平台，就像把零散的积木拼成一个超级机器人，无论是个人还是团队都能轻松部署和管理AI模型，还不用担心隐私问题，完全免费。

Predibase是一个低代码AI平台，使工程师和数据科学家能够轻松构建、优化和部署最先进的模型，从线性回归到大型语言模型，只需几行代码。它还提供了一种声明式方式，帮助工程师快速调优和服务任何开源机器学习模型或大型语言模型，并在私人云中托管先进基础设施。

Substratus.AI是一个专注于大规模语言模型（LLMs）的平台，旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台，并通过单个命令轻松运行和微调最先进的LLMs。

Mystic AI 提供高性能的机器学习模型部署平台，允许用户将任何自定义的、经过微调的开源机器学习模型作为 API 部署，支持在共享集群或用户选择的云平台上运行。其无服务器的按毫秒计费的 API 免费启动，但访问新 Turbo Registry 的计划从 $30 到 $100 不等，具体取决于规模。我们的 BYOC（Bring Your Own Cloud）功能使用户在享受当前服务提供商的无服务器体验的同时，能够完全控制缩放和 GPU 的成本。

FasterTransformer是一个高度优化的基于Transformer的编码器和解码器组件，提供高效的推理和训练性能，支持多种Transformer模型，并兼容多种深度学习框架，灵活配置以满足不同需求。

Pipeline AI是一个平台，旨在无缝部署和扩展机器学习（ML）模型。它提供云无关的基础设施和端到端软件，使得机器学习交付快速、简单、可扩展且安全。Pipeline AI通过为任何规模的企业量身定制解决方案而脱颖而出。

Vespa通过提供一个全面的平台，简化了搜索、推荐和生成AI任务的实现，适用于企业和开发者，确保高性能和可扩展性。

Motion 是一个用于构建机器学习(ML)应用的轻量级框架，旨在减少确保模型、提示和其他有状态对象与数据保持最新的 MLOps 负担。它提供了一系列工具和功能，帮助开发者简化机器学习的部署与管理。

该项目提供了一个基于Pulumi、FastAPI、DVC、MLFlow等工具的基础机器学习平台示例代码，旨在帮助用户快速搭建和定制自己的机器学习工作流。

Deci是一个深度学习开发平台，旨在加速边缘或云端推理，帮助开发者更快实现产品化，并最大化硬件潜力。它提供了一系列模块，包括基础模型和自定义模型，支持模型训练、优化和部署，适用于多个行业，如汽车、智能零售和视频分析等。

awesome-mcp-servers 是一个精选的模型上下文协议（MCP）服务器资源集合，涵盖了浏览器自动化、云平台、命令行、社交平台、数据库、开发者工具、文件系统、搜索以及旅行交通等多个领域。该项目提供了丰富的AI模型与外部资源交互的实现，支持AI模型安全地访问和操作各类资源。