中文Guanaco(原驼)大语言模型,支持QLora量化训练,可在本地CPU/GPU上高效部署,旨在优化大语言模型的效率,适用于低资源环境的训练和应用。
LLMPruner是一款专为大语言模型设计的裁剪工具,旨在优化模型性能并减少其参数量。它支持多种模型架构,并提供可视化工具,方便用户了解模型结构和裁剪效果,易于与现有机器学习工作流集成。
EasyContext 是一个用于内存优化和训练配方的项目,旨在将语言模型的上下文长度扩展到100万令牌,同时对硬件要求最小化。该项目提供了多种方法来提升模型性能,并兼容现有技术的实现,帮助开发者在资源有限的情况下有效地进行模型训练。
一个基于斯坦福的 Alpaca,并进行了中文优化的大语言模型项目,愿景是成为能够帮到每一个人的LLM Engine。
本项目探讨了一种名为‘模型融合(blending)’的方法,通过整合多个较小的对话人工智能模型,以实现与单一大模型相媲美或更优的性能,避免计算需求激增,适用于中等规模模型的协同融合。
在ESP32微控制器上运行大型语言模型(LLM),探索其在资源受限环境下的可能性,特色包括使用tinyllamas模型和对llama.2c的优化以提高性能。
在Auto-GPT基础上的一个分支,增加了对本地运行llama模型的支持,该项目主要是一个概念验证,速度较慢,但有时会得到很不错的结果。
为研究人员提供在HuggingFace数据集上微调Qwen 2视觉语言模型的脚本集合,支持通过Gradio网页界面和命令行进行模型训练,具有交互式训练和批量处理功能。