一个简单易用、可扩展且高性能的强化学习人类反馈(RLHF)框架。它能解决大语言模型对齐和优化的问题,让模型更好地理解和生成人类期望的内容。
ClusterTransformer是一个基于Transformer嵌入的主题聚类库,能够有效地对文本数据进行主题聚类,使用余弦相似度进行相似性度量,兼容所有来自Hugging Face的BERT基础模型,并支持多种文本数据格式,便于集成和使用。
Helibrunna是一个兼容Hugging Face的xLSTM训练框架,旨在探索xLSTM在AI领域的潜力,提升模型训练效率并支持实验性研究。
MobileNet V1的TensorFlow官方checkpoint到PyTorch版本的checkpoint转换工具,旨在简化不同深度学习框架之间的模型迁移,同时保持模型的精度和性能,适用于研究人员和开发者。
基于LLaMA和SlimPajama的MoE模型,旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点,通过支持混合专家架构,提高模型的效率和性能,同时能够进行持续的预训练,以适应不同的任务,灵活的模型配置使其适用于多种应用场景。
最小化的分布式训练框架,专为教育目的设计,让你轻松学习并实验预训练Llama类模型
在MiniGPT4的基础上对齐了Qwen-Chat语言模型,使用高质量的指令微调数据,通过单阶段预训练达到了很好的效果。
IEPile是一个用于训练和评估信息提取模型的大规模信息提取语料库,提供高质量的标注数据,支持多种信息提取任务,适用于学术研究和工业应用。
ChatGLM_multi_gpu_zero_Tuning是一个结合deepspeed和trainer的框架,旨在高效实现多卡微调大模型,目前支持LoRA、Ptuning-v2和Freeze三种微调方式,能够充分利用多卡资源,简化微调流程,适用于研究和开发.