LLMTuner 是一个专为大语言模型设计的指令调优工具,支持全量参数微调、LoRA 和 QLoRA,旨在提升模型的指令响应能力和优化微调过程。
用于数据生成和微调 Qwen2.5 编码器模型的流水线,旨在为 SoftGen AI 提供全文代码编辑能力,支持快速代码更新合并,并且能够在 Fireworks 等快速提供者上部署,实现高吞吐量和准确性的代码编辑
TigerLab是一个开源的LLM(大语言模型)工具包,旨在提供用户友好的接口和功能,帮助开发者轻松构建和部署基于大语言模型的应用程序。它集成了多种强大的功能,包括嵌入技术、模型微调和AI安全性,支持不同使用场景的需求。
一个用于中文信息抽取的项目,基于LLaMA和Alpaca模型,结合LoRA技术进行微调。该项目旨在提供高效、准确的中文文本处理能力,特别是在命名实体识别(NER)方面,支持多种训练和评估配置,方便用户根据需求进行模型微调与集成。
卡内基梅隆大学团队在首届AI数学奥林匹克竞赛(AIMO)中获得亚军的开源项目,包含完整的训练数据集(AIME、AMC、Odyssey-Math)、验证集、模型微调代码和数据收集脚本,为研究AI解决数学问题提供了宝贵资源
扩散模型的极速推理工具,能快速处理复杂的图像生成任务,提升模型运行效率
T5X Retrieval是Google Research开发的一个JAX实现的T5(文本到文本转换变换器),针对检索应用进行了优化。
Hugging Face Transformers 是一个广泛使用的开源NLP框架,专注于大规模预训练语言模型的实现与部署。它支持BERT、GPT-3、T5等数百种顶级模型,涵盖文本分类、情感分析、命名实体识别等多种NLP任务,并支持多模态任务。该库提供简洁的API接口,便于快速加载、微调和优化模型,适用于学术研究与工业应用,社区驱动更新迅速,是自然语言处理领域的重要工具。
一个可定制、简洁、用户友好且高效的工具包,用于训练和微调大型语言模型,支持多种训练和优化方法,以提高模型性能和稳定性。
基于LLaMA和SlimPajama的MoE模型,旨在利用混合专家模型进行持续预训练。该模型结合了LLaMA和SlimPajama的优点,通过支持混合专家架构,提高模型的效率和性能,同时能够进行持续的预训练,以适应不同的任务,灵活的模型配置使其适用于多种应用场景。
LLMs-from-scratch 是一个资源库,提供构建大型语言模型(LLM)所需的实践经验和基础知识。该项目通过逐步指导、清晰的文字、图表和示例,帮助用户深入了解LLM的内部工作原理,并创建自己的LLM。内容包括文本数据处理、注意力机制实现、模型预训练与微调等,适合初学者和进阶用户。
从零开始构建自己的大型语言模型,提供详细教程和代码实现,覆盖编码、预训练和微调过程,适用于对自然语言处理和人工智能领域感兴趣的开发者和研究者
天机是 SocialAI(来事儿AI)制作的一款传统人情世故大模型系统,旨在调教大模型以满足用户的AI需求。它通过基于人情世故的数据训练,提供丰富的社交技巧建议,帮助用户提升情商和核心竞争能力。
nanoRWKV是RWKV语言模型的轻量级实现,专为快速实验与多种语言处理任务设计,兼容RWKV架构,基于nanoGPT优化了性能和效率,易于扩展和自定义。
awesome-LLM-resourses 是一个涵盖广泛的LLM资源集合,包括数据集、微调、推理、知识库、智能体、书籍、课程、学习教程以及相关论文等内容。项目持续更新,旨在成为最好的大语言模型资源汇总,适合从入门到进阶的研究者和开发者使用。
微软推出的Phi-3CookBook是一个关于Microsoft开发的Phi-3模型的教程,提供了如何开始使用Phi-3模型的详细指南和示例,并指导用户在不同的硬件和平台上进行推理和微调。
介绍如何 DIY 一个端到端的 AI 辅助编程工具,类似于 GitHub Copilot、JetBrains AI Assistant、AutoDev 等。该项目包括从模型选型、数据集构建到模型微调的完整流程,旨在帮助开发者创建符合自身需求的编码助手。
Kansformers是一个基于知识增强网络(KANs)的Transformer架构,旨在提高自然语言处理任务的性能。它提供多种预训练模型,支持针对特定任务的微调,并具备高效的模型推理能力和灵活的API设计,适合多种应用场景。
SmolLM2是HuggingFace团队推出的轻量化AI模型系列,支持在资源有限的设备上运行,提供多个参数版本(135M、360M和1.7B),能够处理多种任务,特色是体积小、速度快,开发者友好,支持多种集成和部署方式。
Phoenix是一个notebook-first的Python库,利用嵌入技术发现LLM、计算机视觉(CV)、自然语言处理(NLP)和表格模型中的潜在现象和问题。它支持多种模型的可观察性,提供洞察发现工具,帮助识别和解决模型问题,并集成监控功能以实时跟踪模型性能,同时支持模型的微调和优化。
ModelScope魔搭开源的ClearerVoice-Studio项目,提供语音增强、语音分离、目标说话人提取等功能,旨在提升语音处理的质量和效率。
一个开源工具包,用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter,提供更高级的功能,支持社区贡献与扩展。
该项目汇集了多个开源的中文预训练语言模型及其对应的指令数据集,旨在为中文自然语言处理提供丰富的资源。
HCP-Diffusion是一个基于diffusers的stable diffusion模型训练工具箱,旨在提供一个高效、灵活的环境来训练和微调多种stable diffusion模型,支持自定义数据集和模型参数,具有易于使用的API接口和高效的训练推理速度,适应不同用户的需求。
一个中文低资源的llama+lora方案,基于LLaMA与instruction数据构建的中文羊驼模型,旨在帮助用户快速引入自己的数据并训练出属于自己的小羊驼(Vicuna)。
FlagAI是一个快速、易于使用和可扩展的大模型工具包,目标是支持在多模态的各种下游任务上训练、微调和部署大规模模型。
Grok-1是xAI推出的开源大语言模型,拥有3140亿参数,适用于NLP任务,并提供JAX示例代码,便于加载、运行和微调。
Yi是一个专为高效语言模型设计的开源框架,支持从零开始训练的大型语言模型。它包含两款双语模型Yi-6B及Yi-34B,均自研训练,参数规模分别为6B和34B。Yi通过优化算法与资源管理,提供从实验到部署的完整流程,支持多种语言的文本生成、对话系统和问答任务。
整理开源的中文大语言模型,以规模较小、可私有化部署、训练成本较低的模型为主,包括底座模型,垂直领域微调及应用,数据集与教程等。该项目收录了100+个中文LLM相关的开源模型和资源,适合企业应用和研究。
Dreamboothr.com是一个允许用户通过多种模型的微调来创建惊艳AI艺术的网站。用户只需上传图片,选择所需的微调和模型,AI便会为您生成独特的艺术作品。