一款专注于推理计算流水线的集成开发环境,让开发者能够更便捷地构建、调试和部署LLM计算图。
适用于端边云场景的AI推理应用开发框架,提供了基于Pipeline的并行执行流程,能帮助AI应用开发者较快的开发出高效、高性能,以及支持软硬协同优化的AI应用。
基于Flow-Matching的生成模型实现库,提供了多种流匹配生成模型的参考实现,包括RectFlow、LADD、Shortcut等模型,支持文本生成图像、图像反演等功能,并提供了多种求解器和优化方法。
Kyanite是一个用Rust开发的神经网络推理库,支持CPU和Nvidia GPU,采用模块化设计,能够清晰地分割各个推理阶段,提供高效的内存管理和计算性能。
为ComfyUI打造的全能推理优化方案,旨在实现通用、灵活且快速的推理加速。它支持多种推理场景,并且通过灵活的配置选项来满足不同用户的需求。该项目的设计目标是提升推理性能,并且能够轻松集成到现有的ComfyUI项目中。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型