AI交流(进群备注:dolphin-r1)

dolphin-r1是一个开源的推理数据集,从DeepSeek-R1、Gemini 2.0 flash thinking和Dolphin大模型中蒸馏了总计80万条数据,专门用于训练推理大模型。该数据集包含了从不同来源蒸馏的推理和聊天样本,适用于多种自然语言处理任务。
dolphin-r1的特点:
- 1. 从DeepSeek-R1蒸馏了30万推理样本
- 2. 从Gemini 2.0 flash thinking蒸馏了30万推理样本
- 3. 从Dolphin大模型蒸馏了20万聊天样本
- 4. 总共有80万条数据,适用于训练推理大模型
dolphin-r1的功能:
- 1. 用于训练和微调定制风格的推理大模型
- 2. 用于研究和开发自然语言处理模型
- 3. 用于教育和学习大模型的训练过程
- 4. 用于创建和分享开源数据集,促进AI社区的发展
相关导航

Efficient LLM inference solution on Intel GPU-基于Intel GPU的高效LLM推理
提出一种高效的基于Intel GPU的LLM推理解决方案。通过简化LLM解码器层的结构,融合数据移动和逐元素操作,降低内存访问频率和系统延迟。同时,提出一种段KV缓存策略,将请求和响应token的键/值存储在不同的物理内存中,以有效管理设备内存,提高运行批处理大小和系统吞吐量。在Intel GPU上实现了该解决方案,并与标准的HuggingFace实现进行了比较,对于一些流行的LLM模型,在Intel GPU上实现的解决方案的令牌延迟降低了7倍,吞吐量提高了27倍。
暂无评论...