R1-AQA是基于Qwen2-Audio-7B-Instruct的音频问答模型，通过群组相对策略优化（GRPO）算法进行强化学习优化。在MMAU Test-mini基准测试中仅用38k样本即达到64.50%的平均准确率，显著优于传统监督式微调方法。该项目创新性地将GRPO应用于音频领域，展示了小样本场景下的高效性能，但研究也指出大型音频语言模型在听觉-语言推理方面仍落后于人类水平。
DeepSeek R1 是一个从零开始构建的高效推理模型项目。它使用 Qwen 作为基础模型，通过 GRPO 算法进行初步训练，并结合 Supervised Fine-Tuning (SFT) 和改进的强化学习方法，显著提升了模型的推理能力和语言一致性。项目提供了全流程的代码实现、详细的训练过程描述和手绘流程图，使得即使是初学者也能轻松上手。
