标签：模型蒸馏
大型语言模型（LLM）的竞争格局与未来趋势
本文探讨了大型语言模型（LLM）的竞争格局，分析了合成数据、模型蒸馏和提示工程等关键技术。文章还梳理了多家公司在合成数据领域的技术积累和业务应用，并展...
李飞飞团队s1模型：低成本AI训练的突破与挑战
李飞飞团队以不到50美元的成本训练出名为s1的AI推理模型，该模型在数学和编码测试中表现优异。s1模型的训练基于阿里云通义千问模型进行监督微调，展示了低成...
强化学习在大型语言模型中的应用与挑战
本文探讨了强化学习（RL）在大型语言模型（LLM）中的应用，特别是DeepSeek R1模型的研究进展。通过结合监督微调（SFT）和RL，模型在可验证任务中表现出色，但...
DeepSeek-R1：高性能AI推理模型的革命性突破
DeepSeek-R1 是一款由中国杭州深度求索公司开发的高性能AI推理模型，专注于数学、代码和自然语言推理任务。该模型通过强化学习和多阶段训练技术实现高效推理...
中小公有云厂商在AI领域的崛起：流量外溢与科研云的未来
本文探讨了中小公有云厂商在AI领域的受益逻辑，重点分析了流量外溢、模型蒸馏适配和资金容量博弈对行业的影响。通过优刻得、首都在线和并行科技等公司的案例...
模型蒸馏：AI领域中小公有云厂商的崛起之路
本文探讨了中小公有云厂商在AI领域的受益逻辑，重点分析了模型蒸馏、AI推理服务、边缘计算和科研云的应用。通过优刻得、首都在线和并行科技等公司的案例，揭...
强化学习：从基础到前沿的技术探索与应用实践
本文深入探讨强化学习（RL）的核心概念、技术框架及其在人工智能领域的应用。从基础算法到前沿技术如RLHF和模型蒸馏，文章全面解析了强化学习的最新进展与未...
中间回归器：从复杂模型到轻量级模型的知识迁移
本文深入探讨了中间回归器在模型蒸馏中的应用，介绍了如何通过PyTorch官方教程将复杂模型的知识迁移到轻量级模型中，提升小模型的性能。文章涵盖了中间回归器...
DeepSeek-R1：AI推理能力的革命性突破与CoT数据的应用
DeepSeek-R1通过纯强化学习技术显著提升了AI模型的推理能力，开创了无需监督微调的新范式。其创新的CoT数据生成与蒸馏技术，为垂域大模型的开发提供了强大支...
探索 SmolVLM-256M：世界上最小的视觉语言模型
Hugging Face 发布的 SmolVLM-256M 是世界上最小的视觉语言模型，基于 SigLIP 图片编码器和 SmolLM2 文本编码器，能在移动平台上轻松运行，仅需不到 1GB 的 G...
1
2
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。