deepspeed集成

ChatGLM_multi_gpu_zero_Tuning是一个结合deepspeed和trainer的框架，旨在高效实现多卡微调大模型，目前支持LoRA、Ptuning-v2和Freeze三种微调方式，能够充分利用多卡资源，简化微调流程，适用于研究和开发.

Nebulgym是一款深度网络训练加速框架，用户只需增加几行代码即可显著提升AI模型的训练速度，且无需对现有训练设置进行修改。它支持多种深度学习框架，便于用户快速集成和使用。

HyperLLM是一种新一代的小型语言模型，称为'混合检索变换器'，利用超检索和无服务器嵌入技术，实现即时微调和训练，成本降低85%。

Helibrunna是一个兼容Hugging Face的xLSTM训练框架，旨在探索xLSTM在AI领域的潜力，提升模型训练效率并支持实验性研究。

Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。