LLM Cookbook开源项目 – LLM入门实践教程

本项目是面向国内开发者的LLM（大型语言模型）入门实践教程，基于吴恩达老师的大模型系列课程，进行了筛选、翻译、复现和调优。教程分为必修类和选修类，涵盖了从Prompt Engineering到RAG开发、模型微调的全流程，帮助开发者系统学习和掌握LLM相关技术和应用。

LLM Cookbook的特点:

1. 基于吴恩达大模型系列课程，内容权威且实用
2. 提供中文翻译和本地化适配，适合国内开发者
3. 包含从入门到进阶的多个实际案例
4. 支持在线阅读和PDF下载，方便学习
5. 提供双语字幕视频，增强学习体验

LLM Cookbook的功能:

1. 学习Prompt Engineering，掌握如何构造Prompt并实现多种功能
2. 基于ChatGPT API开发问答系统
3. 使用LangChain框架开发应用程序
4. 学习RAG开发、模型微调、模型评估等进阶主题
5. 使用Gradio为生成式AI构建用户界面

相关导航

Chinese Mixtral开源项目 – 中文混合专家大模型

中文Mixtral混合专家大模型，基于Mistral.ai发布的Mixtral模型，经过中文增量训练和指令精调，支持长文本处理与多种应用框架。

WizardLM开源项目 – 强大的代码生成与处理能力

WizardLM是一个基于Code Llama微调的模型，专注于代码生成和相关任务，支持多种编程语言的代码编写与理解，提供模型的测试地址和下载链接，经过简单测试表现良好。

Large Language Model 书籍中文版开源项目 – 从零构建类ChatGPT大模型

《Large Language Model 书籍中文版》是一本系统介绍如何从零开始构建、训练和微调大型语言模型（LLMs）的书籍。书中详细讲解了从文本数据处理到注意力机制实现，再到模型预训练和微调的全过程。此外，书籍还提供了结合人类反馈进行模型优化的方法，以及如何将大语言模型应用于实际场景的指导。

Hugging Face Transformers开源项目 – NLP预训练模型库

Hugging Face Transformers 是一个广泛使用的开源NLP框架，专注于大规模预训练语言模型的实现与部署。它支持BERT、GPT-3、T5等数百种顶级模型，涵盖文本分类、情感分析、命名实体识别等多种NLP任务，并支持多模态任务。该库提供简洁的API接口，便于快速加载、微调和优化模型，适用于学术研究与工业应用，社区驱动更新迅速，是自然语言处理领域的重要工具。

动手实现LLM中文版开源项目 – 从零开始构建自己的大型语言模型

从零开始构建自己的大型语言模型，提供详细教程和代码实现，覆盖编码、预训练和微调过程，适用于对自然语言处理和人工智能领域感兴趣的开发者和研究者

Awesome-Chinese-LLM开源项目 – 开源中文大语言模型资源整理

整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。该项目收录了100+个中文LLM相关的开源模型和资源，适合企业应用和研究。

Petals官网 – 开源工具，协作运行大语言模型

Petals是一个开源工具，旨在通过团队协作运行大型语言模型。用户可以加载模型的一小部分，与其他人合作以提供模型的其他部分，从而实现推理或微调。

Grok-1开源项目 – 开源大语言模型及其示例代码

Grok-1是xAI推出的开源大语言模型，拥有3140亿参数，适用于NLP任务，并提供JAX示例代码，便于加载、运行和微调。

SDK Vercel官网 – 构建AI应用的在线平台

Vercel AI Playground是一个在线平台，允许用户使用最新的AI语言模型构建AI驱动的应用程序。它提供了一系列功能来微调模型，例如并排比较模型的Compare Mode和优化参数的Tweak Mode。

T5X Retrieval开源项目 – 专为检索任务优化的T5模型

T5X Retrieval是Google Research开发的一个JAX实现的T5（文本到文本转换变换器），针对检索应用进行了优化。

Lightning IR开源项目 – 基于PyTorch Lightning的信息检索库

Lightning IR 是一个基于 PyTorch Lightning 的库，专门用于微调和运行基于 transformer 的语言模型进行信息检索任务。它提供了完整的解决方案，支持多种信息检索任务和数据集，简化了模型训练和推理过程，同时易于扩展和定制。

nanoRWKV开源项目 – RWKV语言模型的迷你版实现

nanoRWKV是RWKV语言模型的轻量级实现，专为快速实验与多种语言处理任务设计，兼容RWKV架构，基于nanoGPT优化了性能和效率，易于扩展和自定义。

awesome-pretrained-chinese-nlp-models开源项目 – 丰富的中文预训练模型资源

该项目汇集了多个开源的中文预训练语言模型及其对应的指令数据集，旨在为中文自然语言处理提供丰富的资源。

SmolLM2开源项目 – 轻量级AI模型，适合资源有限设备

SmolLM2是HuggingFace团队推出的轻量化AI模型系列，支持在资源有限的设备上运行，提供多个参数版本（135M、360M和1.7B），能够处理多种任务，特色是体积小、速度快，开发者友好，支持多种集成和部署方式。

TRL开源项目 – 强化学习训练基础模型

TRL 是一个用于增强训练基础模型的 Python 库，支持监督微调、近端策略优化和直接偏好优化等技术。它与 Hugging Face Transformers 生态系统紧密集成，支持多种模型架构和模态，并支持分布式训练。TRL 提供了多种训练器，如 SFTTrainer、GRPOTrainer、DPOTrainer 和 RewardTrainer，方便用户进行模型微调。此外，TRL 还支持通过 Hugging Face Accelerate 进行高效扩展，并集成了 Hugging Face PEFT 和 Unsloth 来优化训练过程。

暂无评论

暂无评论...