AMD GPU推理引擎：基于 Docker 的 AMD GPU 推理引擎项目，旨在在 AMD GPU 上运行大型语言模型（LLMs），特别是 Hugging Face 的 LLaMA 模型家族。该项目提供了高效的推理性能，并支持容器化部署，方便用户进行模型的集成和使用。
Refact.ai推理服务器是一个自托管的服务，基于Docker镜像，提供高可扩展性和灵活性，支持多种机器学习模型，并提供RESTful API接口，方便用户进行模型推理和管理。
Navan.ai是一个无代码平台，允许开发者和企业在几分钟内构建和部署计算机视觉AI模型，节省高达85%的开发时间和成本。用户可以通过nStudio快速构建模型，通过nCloud将模型部署到云端，并获得推理API。此外，用户还可以选择使用预训练的视觉AI模型，如人脸检测等。
Magix 是一个用于训练大规模语言模型的轻量工具，具有灵活的数据和模型平行功能。它支持与 Hugging Face Transformers 的兼容性，能够高效处理数据，提供灵活的训练环境，适合研究人员和开发者使用。
Lemonfox.ai提供了一种简单的API，使用户能够访问开放源代码的AI模型。该项目的LLM聊天AI模型能够节省75%的使用成本，提供与ChatGPT相当的性能，同时还可以使用Stable Diffusion生成高质量的图像。其OpenAI兼容API使得用户轻松切换至该平台。
TinyChatEngine是一个专为边缘计算设计的设备端大型语言模型推断库，可以在笔记本电脑、车载娱乐系统、机器人或飞船上运行，提供代码助手、办公应用和智能回复等服务，具有高效的推断性能和可扩展的架构。
快速入门Llama 3.1的最小化方案库，支持本地推理和API推理，适用于不同模型大小和权重精度配置，提供多样化的笔记本和工具使用示例
Substratus.AI是一个专注于大规模语言模型（LLMs）的平台，旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台，并通过单个命令轻松运行和微调最先进的LLMs。
Lima是一个在macOS上运行Linux的子系统，利用轻量级虚拟化技术，支持多个Linux分发版，并与Docker兼容。
GalLama是一个专注于本地agentic任务优化的LLM推理API服务后端，提供实验性特性和模型下载功能，能够支持多模型并发运行及负载均衡，旨在提升推理效率和灵活性。
BugBot是由BugRaptors设计的基于AI的智能自动化测试工具，旨在高效地自动发现和报告软件问题。它提供多种测试类型，如回归测试和功能测试，增强整体测试流程。
UHGEval是一个用于无约束生成对中文大型语言模型的幻觉产生进行基准测试的工具，旨在帮助研究人员和开发者评估和分析模型的输出效果。
Platea AI帮助团队快速运行并行测试，结合多个提示和模型，快速达到所需的提示水平。它还允许用户轻松管理和操作快速创建的提示版本。
