本课程旨在帮助学员从零开始构建自己的第二大脑AI助手,使知识管理和智能检索变得轻松。课程涵盖多个模块,从基础到生产级AI系统的搭建,内容涉及大语言模型(LLMs)、智能代理(agents)、检索增强生成(RAG)、模型微调、LLMOps以及AI系统技术等。学员将学习如何利用低成本工具(费用在1至5美元之间)实现高效操作,并兼容多种工具如OpenAI、Hugging Face和MongoDB。
ProbSem是一个利用大型语言模型(LLMs)为查询字符串分配上下文条件概率分布的框架,默认支持所有OpenAI引擎和HuggingFace CausalLM模型。
Haven是一个用于大型语言模型微调和评估的工具,拥有简单的用户界面,可以方便地进行模型微调并基于多种标准进行评估。
LightEval是一个轻量级的LLM评估套件,Hugging Face在内部使用,并与最近发布的LLM数据处理库datatrove和LLM训练库nanotron集成。
WorkGPT是一个智能体框架,类似于AutoGPT或LangChain,用户可以提供指令和API数组,系统将与AI进行多轮交流,直到完成任务,能够支持多种API的交互,灵活适用于多种应用场景,易于集成和扩展。
Helicone是一个开源平台,用于记录、监控和调试AI应用。它支持一行代码集成,提供使用情况追踪、LLM指标、提示管理等功能,适合开发者和团队使用。
NeMo-Skills是一个专注于提升大型语言模型在数学问题解决能力的项目,同时支持多种任务的优化和改进,利用深度学习技术增强模型表现,且为开源项目,便于社区贡献和扩展。
提出了一种在输入问题类型未知的混合任务场景下的通用思想链(Meta-CoT)提示方法,旨在弥合性能和泛化之间的差距。
MOSS-RLHF项目专注于研究大语言模型的强化学习从人类反馈(RLHF)机制,详细探讨了Proximal Policy Optimization (PPO)的内部运作,并提供了相关的代码实现,旨在推动对RLHF的理解和应用。