基于LLaMA和SlimPajama的MoE模型，旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点，通过支持混合专家架构，提高模型的效率和性能，同时能够进行持续的预训练，以适应不同的任务，灵活的模型配置使其适用于多种应用场景。
一个可定制、简洁、用户友好且高效的工具包，用于训练和微调大型语言模型，支持多种训练和优化方法，以提高模型性能和稳定性。
Vercel AI Playground是一个在线平台，允许用户使用最新的AI语言模型构建AI驱动的应用程序。它提供了一系列功能来微调模型，例如并排比较模型的Compare Mode和优化参数的Tweak Mode。
一个合并预训练大型语言模型的工具，能够将多个模型组合成一个独特的、性能更优的模型。
该项目总结了大语言模型的微调技术，探讨了指令微调和对齐微调的方法，旨在提升模型在特定任务上的表现。
Helibrunna是一个兼容Hugging Face的xLSTM训练框架，旨在探索xLSTM在AI领域的潜力，提升模型训练效率并支持实验性研究。
ModuleFormer是一个模块化的大模型，通过使用不同的模块来提高效率和灵活性。该模型允许根据输入动态激活特定模块，从而实现针对特定领域的优化和轻量化。
