Reward Feature Models (RFM)论文 – 个性化偏好建模方法

Reward Feature Models (RFM) 是一种在强化学习从人类反馈 (RLHF) 中捕捉个体偏好的方法，特别适用于大型语言模型 (LLMs) 的训练。它通过学习跨用户共享的通用奖励特征和用户特定的权重来实现个性化。训练过程分为两个阶段：训练阶段学习共享特征和初始用户权重，适应阶段使用有限反馈快速调整新用户权重。研究表明，RFM 在用户内泛化性能上与 Variational Preference Learning (VPL) 相当，同时在用户间泛化能力上表现更优。

Reward Feature Models (RFM)的特点:

1. 学习共享与个性化特征
2. 两阶段训练过程
3. 优秀的用户内和用户间泛化性能
4. 适用于高分歧上下文

Reward Feature Models (RFM)的功能:

1. 大型语言模型训练中的 RLHF 过程
2. 个性化推荐系统
3. 多模态内容生成
4. 图像、声音、视频等领域的用户偏好捕捉

相关导航

optimized_hf_llama_class_for_training开源项目 – 专为LLM训练优化的类

专为大型语言模型（LLM）训练优化的类，集成了多种高效训练技术，旨在提升训练效率和内存使用效率。

OmniHuman-1开源项目 – 突破性人类视频生成框架

OmniHuman-1是一个国产人类视频生成框架，首次实现单模型支持音频、视频、文本和姿态的任意组合生成视频，突破了现有方法只能单一模式生成的限制。该框架具备超长时间稳定生成能力，支持30秒以上的视频生成，通过全条件训练策略提升数据利用率，并通过大规模姿态条件数据训练，减少手部抖动和不自然现象，展现出超强的泛化能力，甚至支持非人类图像的拟人化动画。

Reward-aware Preference Optimization官网 – 统一多种偏好优化算法的框架

RPO框架是由NVIDIA提出的一个统一数学框架，旨在整合多种偏好优化算法（如DPO、IPO等），通过实验分析模型对齐的关键因素，为提升大型语言模型（LLM）的对齐效果提供理论和实践指导。该框架特别关注如何利用奖励机制优化模型偏好，确保模型输出更符合人类期望，并已被整合到NVIDIA NeMo框架中。

Qwen2.5-Max开源项目 – 高性能大型预训练模型

Qwen2.5-Max是一个基于大量数据进行预训练的大型MOELLM，通过策划的SFT和RLHF配方进行后训练，实现了与顶级型号竞争的性能。该模型在多个基准测试中表现出色，包括Arena Hard、LiveBench、LiveCodeBench和GPQA-Diamond等，甚至击败了DeepSeek V3，并在理论性能上超越了DeepSeek-V3。

潜在空间推理训练官网 – 高效推理训练方法

该论文提出了一种在潜在空间（latent space）中进行推理训练的方法，不需要特殊训练数据，且能处理难以用语言描述的推理任务。3.5B 的参数达到了 50B 参数模型的推理基准性能。

Linear-MoE开源项目 – 高效训练大型语言模型的混合专家库

Linear-MoE 是一个基于 Megatron-Core 的线性混合专家模型库，专注于为高效训练和部署大型语言模型提供强大支持。它集成了多种线性注意力机制，支持多种模型架构，并具备高效的分布式训练能力，助力大规模模型开发。此外，Linear-MoE 还提供了丰富的预训练和微调脚本，极大地简化了开发流程。

ToolBenc开源项目 – 高质量指令调优数据项目

清华大学构建的开源、大规模、高质量的指令调优数据项目，旨在帮助开发者构建具备通用工具使用能力的大型语言模型。

Social Learning官网 – 模仿人类社交学习的AI技术

Social Learning 是 Google 推出的一种 AI 技术，旨在模仿人类通过社会互动学习的方式。该框架由教师模型和学生模型组成，教师模型通过自然语言向学生模型传授知识，学生模型则通过这些互动来学习和改进。这种方法减少了对传统机器学习中大量数据和复杂算法的需求，并更好地保护用户隐私。Google 已在语言翻译和图像识别等任务中测试了该框架，但具体研究主要聚焦于大型语言模型（LLMs），如垃圾邮件检测、数学问题和问答。

ChatGLM-LoRA-RLHF-PyTorch开源项目 – 基于LoRA和RLHF的ChatGLM微调

该项目提供了一个完整的管道，用于在消费级硬件上微调ChatGLM LLM，结合了LoRA（低秩适应）和RLHF（基于人类反馈的强化学习）技术，旨在提升ChatGLM的能力，使其类似于ChatGPT。

Post-Training-Data-Flywheel开源项目 – 优化后期训练的数据工具

为大型语言模型(LLMs)提供高质量、大量数据的搜索、选择和合成，以优化模型的后期训练

chatgpt-corpus开源项目 – 中文语料库，助力大模型训练

ChatGPT 中文语料库，包含对话、小说和客服等多种类型的中文语料，旨在为大型语言模型的训练提供丰富的数据支持，支持多种文本格式，适合多种场景应用。

OpenRLHF-M开源项目 – 高性能的RLHF框架

一个简单易用、可扩展且高性能的强化学习人类反馈（RLHF）框架。它能解决大语言模型对齐和优化的问题，让模型更好地理解和生成人类期望的内容。

ml-engineering开源项目 – 帮助训练大型语言和多模态模型

一系列开放的方法，可帮助成功训练大型语言模型和多模态模型，包含丰富的脚本和技术材料，基于作者的实践经验，并提供持续更新的知识库。

RAGEN开源 – 首个开源DeepSeek-R1强化学习框架

RAGEN 是 DeepSeek-R1 强化学习训练框架的首个开源复制品，专注于训练大型语言模型（LLM）推理代理。它支持多轮统一处理，避免批量大小不稳定，提供世界建模能力，并帮助智能体进行规划。特别适用于交互式和随机环境中的多步任务训练，如 Sokoban 谜题和 FrozenLake 环境。

Reinforcement-Learning-Enhanced-LLMs-A-Survey – 强化学习增强LLMs的综述

该项目是一个关于强化学习增强大语言模型（LLMs）的综述资源库，旨在帮助研究人员快速了解如何通过强化学习技术提升LLMs的性能，解决生成更准确、连贯且符合人类期望的文本问题。资源库涵盖了多种强化学习方法，提供了大量相关论文的引用和深入分析，并展示了多种LLMs的增强案例，为研究人员提供了丰富的理论和实践参考。

暂无评论

暂无评论...