所有AI工具AI学习网站AI开发框架AI开源项目

kimi-k1.5开源项目 – 多模态思考模型,超越SOTA

kimi-k1.5 是月之暗面发布的多模态思考模型,具有强大的数学、代码、视觉多模态和通用能力,在短思考和长思考模式下均超越了多个 SOTA 模型。

标签:

AI交流(进群备注:kimi-k1.5)

kimi-k1.5 是月之暗面发布的多模态思考模型,具有强大的数学、代码、视觉多模态和通用能力,在短思考和长思考模式下均超越了多个 SOTA 模型。

kimi-k1.5的特点:

  • 1. 长上下文扩展:将 RL 的上下文窗口扩展到 128k,性能随上下文长度增加而提升。
  • 2. 改进的策略优化:推导出 long-CoT 的 RL 公式,采用在线镜像下降的变体进行稳健的策略优化。
  • 3. 简洁的框架:长上下文扩展与改进的策略优化方法相结合,为通过 LLMs 学习建立了一个简洁的 RL 框架。
  • 4. 多模态能力:模型在文本和视觉数据上联合训练,具有联合推理两种模态的能力。

kimi-k1.5的功能:

  • 1. 短思考模式(short-CoT):在数学、代码、视觉多模态和通用能力上超越 GPT-4o 和 Claude 3.5 Sonnet。
  • 2. 长思考模式(long-CoT):在数学、代码、多模态推理能力上达到 OpenAI o1 正式版的水平。
  • 3. 多模态联合推理:处理文本和视觉数据的联合推理任务。
  • 4. 强化学习应用:通过简洁的 RL 框架进行强化学习任务。

相关导航

暂无评论

暂无评论...