一种高效在单个GPU设备上部署和运行多个微调大语言模型的框架，显著降低服务成本，支持动态加载不同的适配器模型，能根据请求实时加载必要的模型权重，不影响并发请求。
Substratus.AI是一个专注于大规模语言模型（LLMs）的平台，旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台，并通过单个命令轻松运行和微调最先进的LLMs。
picollm是一个基于X-Bit量化的设备端大型语言模型(LLM)推理引擎，专为运行压缩的大型语言模型而优化。它提供跨平台、高准确性的SDK，支持本地运行以确保隐私安全，适合在资源受限的设备上使用。
mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。
用于协调多个大型语言模型（LLM）的系统，通过迭代反馈和共识达成，来解决复杂问题
LAION是一个非营利组织，旨在向公众提供机器学习资源，包括数据集、工具和模型，促进开放的公共教育和环保资源的再利用。
Pocket LLM是一个平台，旨在使复杂的大语言模型和其他先进的人工智能技术对所有人都可访问。它提供定制化、私密的人工智能解决方案，这些解决方案在普通硬件上训练，具有超低延迟推理，消除了对GPU、TPU或定制ASIC的需求。用户可以在没有高级配置或GPU的情况下，仅使用CPU构建和部署数十亿参数的模型。
OpenMeter是一个专业的用量计费和测量解决方案，能够将事件、日志和指标转换为可计费的数据，便于与现有基础设施无缝集成，特别适合AI、云计算和软件开发领域，旨在通过精确计量提高成本效率和资源管理。
