VerifAI的MultiLLM是一个开源框架，通过并行调用多个大型语言模型（LLM）并对其输出进行排名，以找到最佳结果（真实值）。该框架可扩展以支持新的LLM和自定义排名函数，从而评估来自不同LLM的多样化输出。
AutoGen UI是一个支持使用多个代理来开发大型语言模型（LLM）应用的框架。这些代理能够相互对话，以协同解决复杂任务，极大地简化了LLM应用的开发流程，同时具有强大的可扩展性和用户友好的Web界面。
一个轻量级LLM应用开发框架，类似于Python requests库的简洁设计理念，提供了90%必需的LLM开发功能。
Confident AI是一个综合性的LLM评估平台，提供14种以上的指标来运行LLM实验，管理数据集，监控并整合人类反馈，以自动改进LLM应用。它与DeepEval协作，支持任何用例。
magentic允许用户将大型语言模型（LLMs）集成到Python函数中，简化了LLM的调用与管理，提供易于使用的API，支持多种LLM模型，适合快速原型开发和测试。
基于 Ray 的 LLM 全生命周期解决方案，包括预训练、微调、部署和服务，支持 Python/SQL API，基于 Ray，易于扩展
关于基于大型语言模型（LLM）的终身学习（Lifelong Learning）代理（Agent）的资源和研究论文的库，旨在促进LLM在不断变化环境中的适应能力，收集了优秀的调研和资源，包含多篇相关研究论文，并提供多样的学习和应用案例。
kotaemon 是一个基于RAG（Retrieval-Augmented Generation）的开源工具，专为与文档进行聊天而设计。它支持多用户登录、多模态文档查询和复杂推理，提供简洁的用户界面，支持多种LLM（包括OpenAI、Azure和本地模型），并允许用户通过图形界面调整检索和生成参数。开发者可以基于Gradio构建和定制自己的RAG管道，并扩展UI元素以增强功能。
Swarms是一个模块化的Python框架，旨在提供构建、部署和扩展LLM群体的无缝体验，主要目标是自动化工作流。通过整合各种模块和功能，该框架使用户能够高效地简化其流程。用户可以创建一个协作和有效沟通的LLM网络，以自动化复杂任务。这些独立的代理共同形成一个能够处理复杂工作流的强大群体。
ChatLLM 是一个基础知识库，旨在帮助用户轻松使用大型语言模型（LLM）。它提供生产级的API，支持前后端分离，并兼容多种LLM模型，如文心一言和讯飞星火。该项目易于集成和扩展，具有友好的用户界面，方便开发者和用户使用。
Differentiable Adaptive Merging (DAM) 自动化合并多个具有独特能力的大语言模型（LLM），优化模型间的平衡，以提高数据效率和降低计算成本。DAM 超越传统和进化方法，提供可扩展的解决方案，适用于多样化的 AI 系统。
一个开源实验平台，用于改进基于LLM的应用的功能。通过捕捉输入/输出、添加属性、结合用户反馈和识别，提升生产中的LLM功能。
E2B桌面沙箱为大型语言模型（LLM）提供图形桌面环境的沙盒服务，旨在通过安全的计算机使用体验提供隔离的云端环境。
EricLLM是一个快速批处理API，旨在为各种大语言模型提供高效的服务，支持多种模型配置和资源管理，方便用户进行批量文本处理和集成到现有应用中。
TigerLab是一个开源的LLM（大语言模型）工具包，旨在提供用户友好的接口和功能，帮助开发者轻松构建和部署基于大语言模型的应用程序。它集成了多种强大的功能，包括嵌入技术、模型微调和AI安全性，支持不同使用场景的需求。
WilmerAI 是一个框架，可以路由到不同的LLM并协同多个LLM一起使用，以增强模型的能力并完成复杂任务。
Featherless是一个平台，提供对Hugging Face最新语言模型的访问，用户可以在无需租用GPU的情况下进行文本生成应用。用户只需订阅该无服务器平台，选择所需的LLM模型，即可开始生成文本，适用于各种应用场景。
一个强大的AI代理开发SDK，用于构建单个AI代理和代理群体系统。支持多种主流LLM模型(包括OpenAI、Anthropic、MistralAI、Gemini等)，具备向量检索、工具集成、多代理协作等功能，可快速搭建智能应用。特色是支持代理群组(Swarm)协作完成复杂任务。
