AI交流(进群备注:kimi-k1.5)

kimi-k1.5 是月之暗面发布的多模态思考模型,具有强大的数学、代码、视觉多模态和通用能力,在短思考和长思考模式下均超越了多个 SOTA 模型。
kimi-k1.5的特点:
- 1. 长上下文扩展:将 RL 的上下文窗口扩展到 128k,性能随上下文长度增加而提升。
- 2. 改进的策略优化:推导出 long-CoT 的 RL 公式,采用在线镜像下降的变体进行稳健的策略优化。
- 3. 简洁的框架:长上下文扩展与改进的策略优化方法相结合,为通过 LLMs 学习建立了一个简洁的 RL 框架。
- 4. 多模态能力:模型在文本和视觉数据上联合训练,具有联合推理两种模态的能力。
kimi-k1.5的功能:
- 1. 短思考模式(short-CoT):在数学、代码、视觉多模态和通用能力上超越 GPT-4o 和 Claude 3.5 Sonnet。
- 2. 长思考模式(long-CoT):在数学、代码、多模态推理能力上达到 OpenAI o1 正式版的水平。
- 3. 多模态联合推理:处理文本和视觉数据的联合推理任务。
- 4. 强化学习应用:通过简洁的 RL 框架进行强化学习任务。
相关导航
暂无评论...