Litellm开源项目 – 用于标准化多个大语言模型的简单库

Ottic是一个用于语言模型(LLM)产品的QA平台，旨在帮助技术和非技术团队高效测试基于LLM的应用程序。它提供了端到端的测试管理、全面的LLM评估和实时用户行为监控等功能。

Featherless是一个平台，提供对Hugging Face最新语言模型的访问，用户可以在无需租用GPU的情况下进行文本生成应用。用户只需订阅该无服务器平台，选择所需的LLM模型，即可开始生成文本，适用于各种应用场景。

由TII（Technology Innovation Institute）构建的一个40B参数的因果解码器模型，训练在精选语料库增强的1000B tokens的RefinedWeb上。

FLASK是一个专注于基于技能集的细粒度评估工具，能够对大语言模型（LLM）进行全面分析和比较。它提供了评估模型在不同能力上的表现，并与最先进的开源LLM进行对比，帮助用户了解模型的优势和不足。

Run:ai Model Streamer是一个用于将张量从文件流式传输到GPU内存的Python SDK，支持并发和流式处理。

One API 是一个开源项目，旨在通过标准化的 OpenAI API 格式访问和管理多种大型语言模型（LLM），如 ChatGPT、Claude、PaLM 等。它简化了多模型集成的复杂性，支持负载均衡、令牌管理、渠道管理等功能，并提供详细的文档和教程。One API 采用 React 和 Node.js 构建，支持 Docker、Docker Compose 和手动部署，适用于开发聊天机器人、内容生成工具和数据分析平台等场景。

GPT4All 是一个开源 AI 聊天工具，支持在本地设备上运行大型语言模型（LLMs），无需互联网连接。它适合基础推理任务，隐私保护强，数据不会离开设备。支持多种轻量级模型，如 Deepseek R1、LLaMa、Mistral 等，适合个人和企业使用。GPT4All 提供桌面应用和 Python SDK，适用于需要隐私保护和离线使用的场景。

Kratos 是一个轻量级的 Go 微服务框架，提供丰富的微服务相关功能和工具，支持多种传输协议，内置服务发现、负载均衡及中间件扩展，适合构建高性能的分布式应用。

IBM开发的声明式提示编程语言，专为创建可靠、可组合的LLM提示而设计。

Janus 是一个轻量级的 API 网关和管理平台，旨在提供高性能、可扩展的服务。它支持多种协议，并通过灵活的插件系统实现功能扩展，易于集成和配置，同时具备强大的安全性和认证机制，适用于各种场景。

Meteron AI是一个强大且易于使用的工具集，旨在帮助您发展AI业务。它处理负载均衡、订单、存储和限制，让您可以专注于创建更好的模型和吸引更多流量。通过Meteron，您可以快速构建AI产品，管理请求队列，享受无限存储，并获得社区支持。

DeepSeek-V3 / R1 推理系统是一个通过大规模跨节点专家并行（Expert Parallelism, EP）实现更高吞吐量和更低延迟的推理系统。该系统采用多机多卡的专家并行策略，通过增加 batch size 提高 GPU 矩阵乘法效率，并通过分散专家计算降低延迟。此外，系统还采用了计算通信重叠优化、负载均衡优化、双 batch 重叠策略以及针对不同阶段的负载均衡器设计，以进一步提升系统性能。

GO Simple Tunnel是一个用Golang编写的简单隧道工具，支持多种网络协议和灵活的配置选项。

LLM Hosting Container 是一个用于部署和托管大型语言模型的解决方案，具备与AWS服务的无缝集成，提供易于使用的API接口，并支持自动扩展和负载均衡，优化性能以满足高并发需求。

generative-ai-python 是 Google Gemini API 的官方 Python SDK，旨在帮助 Python 开发者轻松使用 Gemini API。它支持跨文本、图像和代码的多模态推理，适用于生成图像、文本描述、翻译文本和生成代码等任务。该 SDK 提供了丰富的功能，包括模型生成、内容生成、流式处理、异步调用、文件管理、上下文缓存、图像生成、嵌入内容生成和模型调优等。开发者可以通过该 SDK 连接到 Google AI Studio 或 Vertex AI，并使用 Gemini API 的各种功能。

Tinyflow 是一个轻量级的 AI 智能体解决方案，旨在通过开发组件帮助传统应用转型为 AI 应用。它不是一个产品，而是一个开发组件，通过集成 Tinyflow，传统应用可以具备 AI 智能体的能力，快速实现 AI 转型。前端基于 Web Component 开发，支持与 React、Vuetify、Svelter 等框架集成；后端支持 Java、Nodejs、Python SDK。

GalLama是一个专注于本地agentic任务优化的LLM推理API服务后端，提供实验性特性和模型下载功能，能够支持多模型并发运行及负载均衡，旨在提升推理效率和灵活性。

Eureka是一个服务发现工具，主要用于在云环境中管理微服务架构，提供服务注册和发现的功能。它支持客户端和服务器端的健康检查，具备负载均衡和自我保护机制，能够与Spring Cloud无缝集成，适用于各种微服务场景。

R2R是一个基于检索增强生成（RAG）的先进AI检索系统，集成了生产就绪功能，并通过RESTful API提供服务。它支持多模态内容摄取、混合搜索、知识图谱和GraphRAG等功能，适用于知识管理、客户服务和搜索引擎优化等场景。R2R还提供了深度研究API，能够通过多步推理系统从知识库或互联网中获取相关数据，为复杂查询提供更丰富的上下文感知答案。