自托管推理服务

Refact.ai推理服务器是一个自托管的服务，基于Docker镜像，提供高可扩展性和灵活性，支持多种机器学习模型，并提供RESTful API接口，方便用户进行模型推理和管理。

基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。

LangPort是一个开源的大型语言模型服务平台，旨在提供超快的LLM推理服务，支持Huggingface transformers及多种语言模型，具有易于扩展的特性。

AMD GPU推理引擎：基于 Docker 的 AMD GPU 推理引擎项目，旨在在 AMD GPU 上运行大型语言模型（LLMs），特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能，并支持容器化部署，方便用户进行模型的集成和使用。

WizModel 提供统一的 API，让用户可以轻松地进行机器学习模型推理，无需编写复杂代码，适合生产环境使用。用户可以通过演示界面体验模型，支持多种工具的直接 API 查询。

river是一个用于在线机器学习的Python库，支持增量学习和数据流处理，适合实时预测系统的构建。它具有多种机器学习算法和模型，易于与现有的数据处理管道集成，同时支持模型评估和性能监控。

该项目提供了一个完整的管道，用于在消费级硬件上微调ChatGLM LLM，结合了LoRA（低秩适应）和RLHF（基于人类反馈的强化学习）技术，旨在提升ChatGLM的能力，使其类似于ChatGPT。

voltaML-fast-stable-diffusion是一个轻量级库，通过简单的一行代码实现对Stable Diffusion模型的加速，速度提升可达10倍，支持Dreambooth的快速推理，方便用户进行机器学习和深度学习项目的快速部署和集成。

Bisheng是一款领先的开源AI大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。

LLaMA-Factory 是一个易于使用的 WebUI 框架，旨在高效微调 100 多种大语言模型（LLM）。它支持多种模型和训练方法，包括 LLaMA、Mistral、Qwen 等，并集成了多种微调方法如 LoRA、QLoRA、PPO、DPO 等。LLaMA-Factory 提供了高级算法如 GaLore、BAdam、DoRA、LongLoRA 等，以及实用技巧如 flashattention、RoPE 缩放等，以优化微调效果。此外，它还支持实验管理工具如 LlamaBoard、TensorBoard、Wandb，以及高效的推理接口如 Gradio UI 和 OpenAI 风格的 API。

Kogito是一个专注于自然语言处理中的常识推理的工具包，集成了多种推理算法，并提供易于使用的API，支持自定义知识库，使得用户能够灵活地进行知识推理任务。

Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。

modelkit是一个极简但功能强大的Python MLOps库，方便将机器学习模型快速部署到产品中，兼容多种框架，提供模型版本控制和多种数据源支持。

TextSynth 提供对大型语言模型和文本到图像模型的访问，如 Llama2、Falcon、GPT-J、GPT-NeoX 等，用户可以通过 REST API 或者友好的操作界面进行文本补全、问答、分类、聊天、翻译和图像生成等多种任务。

HCP-Diffusion是一个基于diffusers的stable diffusion模型训练工具箱，旨在提供一个高效、灵活的环境来训练和微调多种stable diffusion模型，支持自定义数据集和模型参数，具有易于使用的API接口和高效的训练推理速度，适应不同用户的需求。

AIConfig是一个配置驱动和源码控制友好的AI应用开发系统，旨在将提示、模型和参数以源码管理友好的方式进行保存和管理。它支持与代码版本控制系统的集成，方便用户管理和更新AI模型、提示和参数，同时提供易于使用的API接口，兼容多种AI模型和框架。

自主管理、社区驱动的本地 OpenAI 兼容 API，能够在消费级硬件上运行 LLM，且无需 GPU。

ComfyOnline是一个在线平台，旨在简化ComfyUI工作流的运行和API的部署，帮助用户在不需要昂贵硬件或复杂设置的情况下进行AI应用开发。