该项目总结了大语言模型的微调技术,探讨了指令微调和对齐微调的方法,旨在提升模型在特定任务上的表现。
awesome-LLM-resourses 是一个涵盖广泛的LLM资源集合,包括数据集、微调、推理、知识库、智能体、书籍、课程、学习教程以及相关论文等内容。项目持续更新,旨在成为最好的大语言模型资源汇总,适合从入门到进阶的研究者和开发者使用。
Planetarium是一个用于评估大型语言模型将自然语言描述的规划问题转换为PDDL的基准测试工具,具备图同构的比较方法,旨在帮助研究人员分析和提升模型的性能。
LLM-zero2hero是一个高度解耦的微调项目,旨在支持大语言模型的自定义训练、验证和推理过程。它提供了全量微调和LoRA微调的能力,使用户能够灵活地调整模型以满足特定需求。
该研究开发了一种简化的自我训练方法,称为ReST^EM,该方法使用期望最大化(expectation maximization)来微调语言大模型(LLM),表现优于仅依赖人类数据进行微调的策略。
基于LLaMA和SlimPajama的MoE模型,旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点,通过支持混合专家架构,提高模型的效率和性能,同时能够进行持续的预训练,以适应不同的任务,灵活的模型配置使其适用于多种应用场景。
WizardLM是一个基于Code Llama微调的模型,专注于代码生成和相关任务,支持多种编程语言的代码编写与理解,提供模型的测试地址和下载链接,经过简单测试表现良好。
本书围绕大语言模型构建的四个主要阶段,详细介绍各阶段使用的算法、数据、难点以及实践经验。
《动手学大模型》是一本开源书籍,共12章节,涵盖从基础到高级的大语言模型内容,包括语言模型介绍、文本分类、提示词工程、语义搜索、微调模型、多模态模型等。书中包含大量代码示例,可直接在Colab运行,帮助读者更好地理解和应用大语言模型。此外,书中还提供了丰富的实践代码,旨在帮助读者掌握大型语言模型的使用和应用,适合初学者和有经验的开发者。
关于大型语言模型(LLM)定制训练和推理的全面指南,提供策划的教程、最佳实践和现成的代码。