nanoMoE是基于nanoGPT的轻量级MoE模型训练框架,旨在简化并加速中等规模MoE模型的训练过程。它通过优化训练流程和硬件适配,使得在资源有限的硬件环境下也能高效完成模型训练。
XAIstream是一个专为实时AI处理设计的开源框架,为开发者提供构建低延迟智能系统的工具。它支持流式数据的高效处理,适用于动态场景下的模型应用。通过流式计算、推理加速、动态调度、硬件适配和接口支持等功能,XAIstream能够帮助开发者在各种实时场景中高效地应用AI技术。