AIBrix 是一个开源项目，旨在为构建可扩展的生成式人工智能（GenAI）推理基础设施提供基础组件。它提供了一个云原生解决方案，专门为部署、管理和扩展大型语言模型（LLM）推理而优化，尤其适合企业需求。AIBrix 使用 Kubernetes 进行部署和管理，支持高密度 LoRA 管理、LLM 网关和路由、自动缩放器、统一 AI 运行时、分布式推理、分布式 KV 缓存、经济高效的异构服务以及 GPU 硬件故障检测等功能。
开源GPU集群管理器，用于运行大型语言模型(LLM)，支持多种硬件平台，提供轻量Python包和OpenAI兼容API，简化用户和API密钥管理，实时监控GPU性能和利用率
openai-api-proxy是一个代理工具，旨在简化对OpenAI API的访问和管理，提供便捷的接口和功能，帮助开发者更高效地使用OpenAI的服务。
自主管理、社区驱动的本地 OpenAI 兼容 API，能够在消费级硬件上运行 LLM，且无需 GPU。
GPTRPG是一个支持llm的AI代理的简单类似RPG的环境，通过OpenAI API将AI代理植入到游戏角色中，部署多个代理以自主参与在线游戏，提供动态剧情生成和交互式体验。
Betalgo OpenAI是一个Dotnet SDK，旨在将OpenAI的各种模型（如ChatGPT、Whisper、GPT-3和DALL·E）轻松集成到.NET应用程序中，支持多种功能，包括文本生成、语音识别和图像生成。
llmonitor是一个开源项目，旨在帮助AI开发人员监控AI应用。它具有多种功能，包括成本、token和延迟分析，以及跟踪和调试功能，还可以检查完整请求。该项目可以在GitHub上找到，是一个专为AI应用和代理设计的监控和分析工具。
Coin Wizard是一个人工智能工具，允许用户通过安全的API轻松连接到其加密货币交易所账户，并在加密市场中赚取被动收入。用户只需创建API密钥，连接账户，选择风险和收益水平，Coin Wizard的AI算法将自动为用户进行交易。
your.gg 是一个分析和人工智能平台，旨在帮助玩家提升游戏表现。通过输入游戏数据，用户可以获得个性化的建议，从而改善游戏技巧，赢得更多比赛。
为清华的LLM ChatGLM-6B以及中文Embeddings模型提供OpenAI风格的API，支持ngrok以及cloudflared tunnel。可以基于ChatGLM快速接入OpenAI生态的某些应用。
PromptPortals是一个管理和优化AI提示的平台，用户可以通过API和分析功能，结合用户反馈，轻松创建和管理OpenAI API调用的提示。它为AI应用程序提供了一个简单的中间层接口，帮助开发者提升交互效果。
Langfuse是一个旨在帮助开发者构建和管理AI应用程序的基础设施平台，提供了丰富的功能和工具，以简化AI模型的集成和部署。其目标是让AI开发变得更简单、高效，并降低技术门槛。
GPTsuite是一个基于OpenAI构建的全功能AI工具包，用户可以通过自己的API密钥访问各种AI工具，无需每月订阅。
FlagPerf是一个开源软件平台，用于评测AI芯片的性能，旨在通过Zhiyuan Institute与AI硬件制造商的合作开发。
Ory Kratos是一个用Go编写的开源身份服务器，提供强大的用户身份验证和管理功能。它支持多种身份验证方法，允许开发者自定义身份验证流程，并具有内置的用户管理和会话管理能力。Ory Kratos可以与其他Ory产品无缝集成，适用于各种应用场景。
RunPod是一个全球分布的云平台，专门用于运行AI推理和训练。它提供GPU实例，支持流行的框架如TensorFlow和PyTorch，使得AI工作负载的处理变得简单便捷。用户可以通过注册账号并登录，部署基于容器的GPU实例，选择不同的GPU类型和区域以满足特定需求。RunPod还提供无服务器GPU计算、各种应用的AI端点以及增强隐私和安全性的安全云选项。
