ULLME是一个统一的框架,旨在通过生成增强学习优化大型语言模型的嵌入,支持双向注意力机制以及多种微调策略,帮助提升模型的性能和效果。
LangChain是一个用于构建基于大型语言模型(LLM)应用的框架,它简化了复杂任务的实现,并支持多种集成和扩展。
FastLLM是一个动态策略选择的深度学习模型训练代码库,集成了Deepspeed、Megatron、FlashAttention、CudaFusionKernel和编译器技术,旨在优化大规模语言模型的训练效率,提供更加灵活和高效的训练方案。
赤兔量化注意力:专注于量化注意力机制的高效 GPU 实现库,旨在加速长序列数据的处理速度,并且与 Long-Context-Attention 库无缝集成
一个完整的管道,用于在消费级硬件上使用LoRA和RLHF微调Vicuna LLM。该项目实现了基于Vicuna架构的RLHF(强化学习与人类反馈),基本上是ChatGPT的变种,但使用Vicuna。
CSTS是一个专为中文设计的自然语言推理与语义相似度数据集,包含多种推理场景,提供丰富的标注数据,旨在支持机器学习和深度学习模型的训练,帮助提升中文文本的理解和处理能力。
CAME(Confidence-guided Adaptive Memory Optimization)是一个旨在通过信心引导机制来优化模型内存使用的项目,提升大语言模型的性能。
Raspberry是一个旨在为微调具有推理能力的LLM创建开源玩具数据集的项目,特色在于通过合成复杂用户查询和自我批评数据来提升模型的推理能力。
Branches是一个基于图的高级算法原型工具,专为大型语言模型(LLM)的推理和规划设计,旨在提升模型的推理能力和优化决策过程。
一种通过哨兵令牌压缩自回归变换器上下文的方法,提高模型效率。
关于算法代码生成的数据集,具有更大规模、更高质量和更精细标签的特点,旨在提供一个更具挑战性的训练数据集和评估基准,用于代码生成模型领域
一个基于斯坦福的 Alpaca,并进行了中文优化的大语言模型项目,愿景是成为能够帮到每一个人的LLM Engine。