R1-V是一个开源视觉语言模型（VLM）项目，旨在通过强化学习和可验证奖励（RLVR）在极低成本（不到3美元）和短时间内（30分钟）实现超强泛化能力。该项目通过高效的训练方法和开源资源，显著提升了模型的性能，特别是在超出分布（OOD）测试中，2B模型在100个训练步骤后超越了72B模型的表现。
Magma是微软开源的多模态AI Agent基础模型，能够处理图像、视频、文本等多种数据类型，并具备心理预测功能，跨越数字和物理世界。它为虚拟与现实世界的交互提供强大支持，适用于复杂的交互任务，如UI导航和机器人操作，并在这些任务上达到SOTA性能。Magma还具备从海量未标注视频中学习的能力，展现出强大的泛化能力。
Mask-tuning是一种训练方法，通过将训练目标集成到微调过程中，旨在提升预训练语言模型在特定任务上的表现和泛化能力，尤其是在未见过的数据上。
该项目旨在实现稀疏和稳健的预训练语言模型，以提高语言理解的能力和效率。
Dioptra是一个开源的数据策展和管理平台，旨在支持计算机视觉、自然语言处理和大型语言模型。它帮助用户策划有价值的未标记数据，注册元数据，诊断模型失效模式，并与标注和再训练系统整合。
一个轻量框架，用于开发、调试和监控大规模大语言模型(LLM)和Agent驱动的应用。它提供了易用的工具，帮助开发者快速构建和优化语言模型应用。
LightEval是一个轻量级的LLM评估套件，Hugging Face在内部使用，并与最近发布的LLM数据处理库datatrove和LLM训练库nanotron集成。
LLMArena是一个易于使用的工具，可以帮助用户并排比较多个大型语言模型（LLM），并美观地分享这些比较。用户可以选择2到10个LLM进行对比，生成直观的比较结果。
模型在预训练阶段往往会专注于降低预训练损失函数的特征,导致特征学习和泛化能力不足。本文提出，提升模型习得表征的方差并降低其协方差，从而提升模型和上面的转移学习表现。
