轻量级优化工具

nanoGRPO是一个轻量的Group Relative Policy Optimization (GRPO) 实现，专为语言模型优化设计，提供高效的解决方案。它能够在资源有限的硬件环境中运行，仅需8GB显存即可适配RTX 4060显卡。通过独特的GRPO损失函数，nanoGRPO在120步训练内即可显著提升模型表现，适用于需要快速优化语言模型的场景。