这是一本由huggingface推出的交互式电子书，专注于在大规模GPU集群上训练大语言模型的调参技术。书中详细探讨了显存使用、计算效率和通信开销等关键挑战，并提供了相关的解决方案和权衡策略，帮助用户在大规模训练中找到计算、通信和显存之间的合适平衡。
ModuleFormer是一种基于MoE（Mixture of Experts）的架构，旨在提高大型语言模型的计算效率和可扩展性。其设计允许通过稀疏激活专家子集来实现与密集型语言模型相同的性能，同时在吞吐量上超过两倍。此外，它对灾难性遗忘具有免疫力，能够通过引入新专家来学习新知识，并且支持对特定微调任务的专家进行专注，便于轻量级部署。
Dolomite Engine是一款用于预训练和微调大型语言模型的超优化库，集成了多项关键创新，包括模型架构、微调方法和系统优化。它旨在提高大型语言模型的训练效率和效果，支持多种模型架构，优化微调过程，并提供系统性能的显著提升。
PrimeQA是一个先进的多语言问答研究与开发的主要资源库，支持最新的深度学习模型，易于扩展和定制，并提供多种数据集与基准测试，适用于实时问答和批量处理场景。
VideoTuna是一个集成了多种视频生成模型的代码库，支持从文本到视频、图像到视频的生成，并提供了预训练、连续训练、对齐和微调等完整的视频生成流程。它支持多种视频生成模型，如CogVideoX、Open-Sora、VideoCrafter等，能够处理不同分辨率的生成任务。此外，VideoTuna还提供了丰富的后处理功能，如视频到视频的后处理和增强模块，并计划推出3D视频VAE和可控面部视频生成模型，进一步扩展应用场景。
2000 Fine Tuning Prompts是一个全面的资源，旨在帮助爱好者学习和实验微调，熟悉其在不同上下文中的功能和应用。
一个开源工具包，用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter，提供更高级的功能，支持社区贡献与扩展。
