AIBrix 是一个开源项目，旨在为构建可扩展的生成式人工智能（GenAI）推理基础设施提供基础组件。它提供了一个云原生解决方案，专门为部署、管理和扩展大型语言模型（LLM）推理而优化，尤其适合企业需求。AIBrix 使用 Kubernetes 进行部署和管理，支持高密度 LoRA 管理、LLM 网关和路由、自动缩放器、统一 AI 运行时、分布式推理、分布式 KV 缓存、经济高效的异构服务以及 GPU 硬件故障检测等功能。
