GS-LoRA项目致力于为预训练视觉模型提供持续学习的能力,减少灾难性遗忘的问题,从而在新任务上有效微调模型,提高模型在顺序学习任务中的表现。
专注于训练和微调中等大小 GPT 模型的最简仓库,是 karpathy/nanoGPT 的一个分支,并提供了最大更新参数化(muP)的最小实现,旨在简化用户的使用体验和模型的优化过程。
一个中文低资源的llama+lora方案,基于LLaMA与instruction数据构建的中文羊驼模型,旨在帮助用户快速引入自己的数据并训练出属于自己的小羊驼(Vicuna)。
Awesome LLM Apps 是一个精心策划的集合,展示了基于大语言模型(LLM)的应用程序,涵盖了客服、法律、健康、旅游、数据分析等多个领域。这些应用程序利用了检索增强生成(RAG)和人工智能代理技术,结合了来自OpenAI、Anthropic、Gemini及开源模型(如LLaMA)的LLM,支持本地部署和运行。项目文档详尽,便于学习和理解,鼓励开源生态系统的进一步发展和贡献。
Diffusers是HuggingFace官方推出的生成模型工具包,集成了Stable Diffusion 3、DALL-E 3等前沿模型,支持文生图、图生图、视频生成等全流程。该库支持多种新功能和pipeline,包括UniDiffuser、DiffEdit、IF DreamBooth和A1111 LoRA等,适用于数字内容创作、工业设计原型生成和教育可视化内容制作等领域。
YaRN是一个高效的上下文窗口扩展工具,旨在提高大型语言模型的上下文处理能力。
self-adaptive-llms 是一个自适应框架,可以使大型语言模型实时适应未见过的任务,像是为模型装上“智能调节器”,从而在面对新任务时迅速调整,更好地完成任务。
SPARC是一种用于从图像-文本对中预训练更精细的多模态表示的方法,通过在描述中的每个token上学习图像块的分组来实现。