ChatGLM_multi_gpu_zero_Tuning是一个结合deepspeed和trainer的框架,旨在高效实现多卡微调大模型,目前支持LoRA、Ptuning-v2和Freeze三种微调方式,能够充分利用多卡资源,简化微调流程,适用于研究和开发.
Nebulgym是一款深度网络训练加速框架,用户只需增加几行代码即可显著提升AI模型的训练速度,且无需对现有训练设置进行修改。它支持多种深度学习框架,便于用户快速集成和使用。
HyperLLM是一种新一代的小型语言模型,称为'混合检索变换器',利用超检索和无服务器嵌入技术,实现即时微调和训练,成本降低85%。
Helibrunna是一个兼容Hugging Face的xLSTM训练框架,旨在探索xLSTM在AI领域的潜力,提升模型训练效率并支持实验性研究。
Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库,集成了多项关键创新,包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果,支持多种模型架构,优化微调过程,并提供系统性能的显著提升。