这是一个针对大型语言模型(LLM)微调的综合性实践教程,旨在帮助用户快速掌握LLM微调技术。项目覆盖了从基础到进阶的多种微调方法,包括全参数微调和参数高效微调(如LoRA),并提供了丰富的实践案例,涵盖金融、推理等多个领域。教程设计注重初学者友好性,通过详细的步骤指导和实际案例演示,帮助用户快速上手并应用于实际场景。
Adapter-BERT是一个开源项目,专注于在BERT模型中应用Adapter Tuning技术,以实现参数高效的模型微调。该项目提供了相关代码和资源,帮助研究者和开发者在不完全微调整个模型的情况下,通过调整少量参数来适应新任务。该方法能够在多个任务之间共享大量参数,同时保持与完全微调相当的性能。
一站式大语言模型微调教程,旨在帮助用户轻松上手LLM微调。项目提供多种微调技术,包括全参数微调和参数高效微调等,通过详细教程和丰富的实战案例,助力小白快速入门,并覆盖金融、推理等多个领域。
Expert-Specialized Fine-Tuning (ESFT) 是一种针对具有混合专家(MoE)架构的大型语言模型(LLMs)的参数高效微调(PEFT)方法。该方法通过微调与下游任务最相关的专家,显著提高了微调效率和性能。ESFT 不仅能够匹配甚至超越全参数微调的效果,还深入分析了MoE架构对专家专门化微调的影响,使得更细粒度的专家选择成为可能,从而在相关专家组合的选择上更具优势。
一个全面且高效的参数高效微调(PEFT)方法汇总库,专注于解决在有限资源下高效微调大模型的问题。该项目汇总了超过100篇相关论文,涵盖语言、视觉、多模态等多种模型,并提供了丰富的代码链接,方便研究人员和开发者快速上手。其核心价值在于提升微调效率和效果,为大模型的高效微调提供一站式解决方案。
本书是由浙江大学开源的大语言模型教材,系统介绍大模型相关基础知识和前沿技术。涵盖传统语言模型、大语言模型架构演化、Prompt工程、参数高效微调、模型编辑、检索增强生成等六大主题。每章配有相关论文列表,定期更新以跟踪最新技术进展。
一个综合性的资源库,为用户提供了大量关于上下文学习和提示工程的最新研究和技术。
该项目研究了prompt在不同下游任务和不同类型、规模的预训练语言模型之间的迁移性,探索其在零样本设定下的有效性、对其他模型的适用性以及对训练速度的提升,并分析了影响迁移性的因素。
IIUCbot是一个为国际伊斯兰大学的学生提供学习支持的机器人,用户可以通过它获取过去的试卷、笔记和其他学习资源。该项目是开源的,鼓励大家参与贡献。
微软推出的生成式AI入门课程,包含12至21个系统课程,涵盖从基础到进阶的全方位知识。课程提供Python和TypeScript代码示例,适配Azure OpenAI和OpenAI API,帮助初学者零基础开启AI应用开发之旅。课程内容包括LLM介绍、提示工程基础、构建文本生成/聊天应用等,并提供实践项目、额外学习资源和官方中文翻译版本,学习路径清晰。
谷歌DeepMind发布的最新多任务视觉语言模型(VLM),集成了多种视觉和语言处理能力,支持图像描述、目标检测、图像分割、OCR以及文档理解等任务。该模型提供三种不同参数规模(3B、10B、28B),支持224px和448px两种分辨率,基于开源框架开发,易于使用和扩展,通过简单提示即可切换任务,无需额外加载模型。
Rich AI 是一款最新的商业与赚钱知识工具,旨在为用户提供实用的建议和指导,帮助他们在创业过程中做出明智决策。用户只需执行 Rich AI 提供的建议,即可轻松赚钱。
这是一个汇集了与GPT相关的多个开源项目的合集,提供对各个项目的简要介绍和链接,适用于研究人员和开发者寻找相关资源,并支持多种GPT相关的应用和工具。
OSS Chat是一个创新的AI工具,旨在弥合开源软件社区与开发者之间的沟通鸿沟。它利用增强版ChatGPT的能力,整合文档、问题、博客文章和社区问答作为知识库,专为寻找高效信息和实时支持的开发者和开源爱好者量身定制。