强化微调研究计划官网 – 通过强化学习定制AI模型

该项目探讨了强化学习（RL）在大型语言模型微调中的价值，特别关注基于人类反馈的强化学习（RLHF）为何通常优于离线偏好微调方法。论文提出了“生成-验证差距”假说，解释RLHF通过学习一个相对简单的奖励模型，并将策略搜索空间限制在对该奖励模型最优的策略子集，从而实现更好的性能。项目包括理论分析和实验验证，并提供了贝叶斯和频率学方法的替代方案。

AutoDidact 是一个强化学习微调项目，旨在通过大模型监督小模型学习，减少人工监督的需求，从而提高模型的问题回答准确率。项目支持函数调用和代理反馈循环，被训练模型会根据文档生成自己的问题，并使用搜索工具在语料库中寻找答案。此外，项目使用其他大模型作为评判标准来评估回答的正确性，并通过强化学习（RL）提高模型能力，从而节省大量人工监督时间。

Vivas.AI是一个利用人工智能能力的网络应用，旨在提供自动化助手以提高生产力和效率。它支持文档处理、互动数据对话，并提供多种AI模型，帮助改善应用程序和决策过程，所有功能均可根据用户需求定制，免去模型训练的烦恼。

ErisForge是一个Python库，旨在通过对其内部层应用转换来修改大型语言模型（LLMs）。它提供了一种简单而强大的方式，让用户能够定制和优化AI模型的行为，适用于多种应用场景。

Aistro应用程序将古老的占星术智慧与现代大型语言模型AI的力量结合在一起，允许用户询问关于他们的 Horoscope、个性或未来的任何问题。用户可以根据出生日期、时间和地点获得个性化的解读。

古文生成大模型：输入现代汉语句子，生成古汉语风格的句子，基于荀子基座大模型，采用文言文与现代文平行语料进行LoRA微调训练，适用于文学创作、教育和研究等多个领域。

Mind Evolution 是一种通过进化搜索策略增强大型语言模型（LLMs）处理复杂自然语言规划任务的方法。它借鉴了生物进化的思想，通过生成、重组和优化解决方案来提升LLM的性能。该方法在多个基准测试中表现出色，尤其是在TravelPlanner和Natural Plan等任务中，成功率超过98%。其核心策略是利用LLM进行生成、重组和优化，避免了传统形式化问题求解的需求，适用于难以形式化的任务。

Multi AI Chat 是一个集成了多个人工智能聊天模型的应用，包括 ChatGPT、Google Gemini、Claude AI、Mistral AI、Cohere AI 和 Dall-E 3，用户可以在同一平台上与不同的AI进行交互，获取多样化的回答和创意。

这是一个Chrome扩展程序，通过在任何文本框中输入'/ai'及请求，可以利用ChatGPT的强大功能提供相关回应。它旨在帮助用户完成各种任务，提升工作效率。

《LangChain in your Pocket》是一本动手实践的指南，详细解释了LangChain框架，提供了从初学者到高级的生成式AI应用的代码和示例，包括自动SQL、基于文件的问答、评估器等多种应用。

VideoPainter是由腾讯ARC团队推出的支持任意长度视频修复与编辑的工具。它突破了传统技术的限制，支持通过文字指令实现视频编辑，可以添加、删除、更改、替换视频中的对象。该工具采用即插即用的双分支框架，一个分支通过背景上下文编码器处理背景信息，确保背景自然；另一个分支专注生成前景物体，实现背景与前景的协调统一。此外，VideoPainter还提供了超过39万条带精确分割掩码的视频数据，助力大规模训练与评估。

中文Guanaco(原驼)大语言模型，支持QLora量化训练，可在本地CPU/GPU上高效部署，旨在优化大语言模型的效率，适用于低资源环境的训练和应用。

本书旨在介绍深度学习数学分析中的核心思想，帮助学生和研究人员快速熟悉该领域，并为大学深度学习数学课程的开发奠定基础。

Canopy的人工智能利用历史数据来学习您的机器在所有运行条件下的功能。它们部署在各种行业中，帮助提前检测故障，减少机器停机时间并提高性能。Canopy学习正常行为是什么，并且可以推断异常情况。我们不会为特定故障类型进行训练。如果异常是在您的数据中，Canopy将找到它，无论原因是什么。

Bookwield是一个在线平台，通过将阅读的书籍概念无缝整合到用户的认知中，帮助用户提升书籍记忆。它运用基于认知科学和人工智能技术的间隔重复方法，创建有效的复习，增强知识的保持。