Helibrunna是一个兼容Hugging Face的xLSTM训练框架,旨在探索xLSTM在AI领域的潜力,提升模型训练效率并支持实验性研究。
MobileNet V1的TensorFlow官方checkpoint到PyTorch版本的checkpoint转换工具,旨在简化不同深度学习框架之间的模型迁移,同时保持模型的精度和性能,适用于研究人员和开发者。
基于LLaMA和SlimPajama的MoE模型,旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点,通过支持混合专家架构,提高模型的效率和性能,同时能够进行持续的预训练,以适应不同的任务,灵活的模型配置使其适用于多种应用场景。
最小化的分布式训练框架,专为教育目的设计,让你轻松学习并实验预训练Llama类模型
在MiniGPT4的基础上对齐了Qwen-Chat语言模型,使用高质量的指令微调数据,通过单阶段预训练达到了很好的效果。
IEPile是一个用于训练和评估信息提取模型的大规模信息提取语料库,提供高质量的标注数据,支持多种信息提取任务,适用于学术研究和工业应用。
ChatGLM_multi_gpu_zero_Tuning是一个结合deepspeed和trainer的框架,旨在高效实现多卡微调大模型,目前支持LoRA、Ptuning-v2和Freeze三种微调方式,能够充分利用多卡资源,简化微调流程,适用于研究和开发.