专注于训练和微调中等大小 GPT 模型的最简仓库,是 karpathy/nanoGPT 的一个分支,并提供了最大更新参数化(muP)的最小实现,旨在简化用户的使用体验和模型的优化过程。
Black Forest Labs的Flux模型训练脚本集,支持LoRA和ControlNet模型的微调,使用DeepSpeed进行高效训练,适用于512x512及1024x1024图片尺寸,提供下载链接和训练配置文件
这是一个完整的管道,用于在消费硬件上使用LoRA和RLHF微调Alpaca LLM。基于Alpaca架构实现人类反馈的强化学习(RLHF),基本上是ChatGPT的一个变体,但使用的是Alpaca。
一个基于HuggingFace开发的大语言模型训练、测试工具。支持各模型的webui、终端预测,低参数量及全参数模型训练和融合、量化。
LoRA inspector是一个专为Stable Diffusion设计的工具,旨在可视化和评估Low-Rank Adaptation(LoRA)模型的性能。它提供了用户友好的界面,支持多种文件格式的导入和导出,方便用户快速比较不同模型的效果,帮助用户选择最佳的模型配置以提升生成效果。
Substratus.AI是一个专注于大规模语言模型(LLMs)的平台,旨在以极简的方式实现机器学习模型的部署和微调。用户可以在几分钟内安装所需的ML平台,并通过单个命令轻松运行和微调最先进的LLMs。
这个开源项目是一个生成式AI模型优化赛的参赛方案,获得了天池NVIDIA TensorRT Hackathon 2023初赛的第三名。该项目的功能涉及到开源、机器学习等领域。
Predibase是一个低代码AI平台,使工程师和数据科学家能够轻松构建、优化和部署最先进的模型,从线性回归到大型语言模型,只需几行代码。它还提供了一种声明式方式,帮助工程师快速调优和服务任何开源机器学习模型或大型语言模型,并在私人云中托管先进基础设施。
百川智能推出的新一代开源大语言模型,采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。
GS-LoRA项目致力于为预训练视觉模型提供持续学习的能力,减少灾难性遗忘的问题,从而在新任务上有效微调模型,提高模型在顺序学习任务中的表现。
提出了一种在输入问题类型未知的混合任务场景下的通用思想链(Meta-CoT)提示方法,旨在弥合性能和泛化之间的差距。
斯坦福开发的一种遵循指令的 LLaMA 模型,基于 Meta 的 LLaMA 7B 模型进行微调,性能接近 OpenAI 的 text-davinci-003,支持在单个 GPU 或 CPU 上运行。