ORGANA是一个灵活且人性化的机器人系统,旨在通过自然语言与化学家进行交互,使用大型语言模型进行推理和规划,提供及时的报告和分析结果,具备3D视觉感知能力,能够准确操作实验对象和监控实验进展,同时通过并行执行实验提高实验效率。
AG2(前身为AutoGen)是一个为智能体AI设计的编程框架,帮助多个智能体协作以解决问题。
LLM-Engines是一个统一的大规模语言模型推理引擎,支持多种开源模型(如VLLM、SGLang、Together)和商业模型(如OpenAI、Mistral、Claude),通过不同引擎验证推理的准确性,旨在提供高效和灵活的语言处理解决方案。
vLLM是一个开源的高效语言大模型服务系统,专注于提升推理速度和效率。它通过创新的内存管理和调度技术,优化了键值缓存(KV cache)的动态增缩和碎片化问题,显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型,适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁,开源社区支持强大,文档友好,特别适合需要高效推理能力的项目。
这个研究项目致力于复现并理解 OpenAI 的 O1 模型,重点是开发新的训练方法,并深入探究大型语言模型 (LLMs) 中复杂推理的底层原理。目前已经发布了三篇研究论文。
KnowNo是一个用于衡量和调整基于LLM的规划人员的不确定性的框架,帮助他们识别何时需要寻求外部帮助,提升自主决策能力。