推理吞吐量

一个Mamba的最小化实现。Mamba是CMU和普林斯顿的研究成功。这种SSM架构在语言建模上与Transformers不相上下，而且还能线性扩展，同时具有5倍的推理吞吐量。

MiniMax-01 是一个开源项目，包含基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。它支持超长上下文处理，适合AI Agent领域和各种需要处理大量信息的场景。该模型采用混合架构，结合Lightning Attention、Softmax Attention和专家混合（MoE），能在推理时处理长达400万token的上下文，并在多个学术基准测试中表现出色。此外，它还支持文本/图像/3D模型联合生成，实现在游戏资产创作场景中的风格一致性控制，生成速度比Stable Diffusion快3倍。

开源的前端项目，旨在在浏览器中运行大型语言模型（LLM），通过 MLC-LLM 和 WebLLM Chat 实现，支持用户通过简单的界面与模型进行交互，无需复杂的配置或安装

这是一个专为边缘设备设计的Transformer模型推理库，旨在实现低成本、低能耗的处理。它能够以30倍的实时速度运行tiny.en Whisper模型进行语音转录，相较于最知名的实现速度快2倍，非常适合在资源受限的环境中使用。

FasterTransformer是一个旨在提高Transformer模型速度和效率的工具，支持多种架构如BERT和GPT，提供高性能的推理和训练，且易于集成。它支持FP16和INT8量化技术，能够在NVIDIA GPU上实现高效的模型推理和快速训练，适合在生产环境中部署优化后的模型。