ModuleFormer是一个模块化的大模型，通过使用不同的模块来提高效率和灵活性。该模型允许根据输入动态激活特定模块，从而实现针对特定领域的优化和轻量化。
ark-nlp是一个旨在收集和复现学术与工作中常用的自然语言处理模型的平台，支持多种NLP任务，并提供丰富的预训练模型，适合研究人员和开发者使用。
Llama Stack 是一个开源项目，旨在将 LLM 应用构建生成周期的所有组件打包，包括训练、微调、产品评估、观测、Agent & Memory、合成数据生成等，并支持 9+ 提供商。
基于LLaMA和SlimPajama的MoE模型，旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点，通过支持混合专家架构，提高模型的效率和性能，同时能够进行持续的预训练，以适应不同的任务，灵活的模型配置使其适用于多种应用场景。
Meta 发布的 Llama 3.1 1B和3B的官方量化版本，提供了更小的内存占用、更快的设备推理速度、准确性和便携性。
Efficient Large LM Trainer 是一款专为大规模语言模型设计的高效训练工具，旨在通过优化的算法和资源管理，提升训练速度并减少内存占用，支持多种硬件设备，便于用户集成和使用。
