Mask-tuning-增强预训练语言模型的泛化能力

Mask-tuning是一种训练方法，通过将训练目标集成到微调过程中，旨在提升预训练语言模型在特定任务上的表现和泛化能力，尤其是在未见过的数据上。
Mask-tuning的特点:
1. 只使用下游任务的训练数据集
2. 即插即用工具，适用于任何与原始微调一起工作的PLM
3. 在分布内和OOD数据集上性能超过现有最先进技术
4. 提高PLM在未见过的数据上的可复用性

Mask-tuning的功能:
1. 增强预训练语言模型在特定任务上的表现
2. 提高模型在实际应用中的有效性
3. 用于研究PLM的泛化能力

相关导航

Sparse and Robust Pre-trained Language Models开源项目 – 稀疏与稳健的预训练语言模型

该项目旨在实现稀疏和稳健的预训练语言模型，以提高语言理解的能力和效率。

LLM Sandbox by Dioptra官网 – 开源数据管理平台，助力模型优化

Dioptra是一个开源的数据策展和管理平台，旨在支持计算机视觉、自然语言处理和大型语言模型。它帮助用户策划有价值的未标记数据，注册元数据，诊断模型失效模式，并与标注和再训练系统整合。

tinyllm开源项目 – 轻量框架，支持大规模语言模型

一个轻量框架，用于开发、调试和监控大规模大语言模型(LLM)和Agent驱动的应用。它提供了易用的工具，帮助开发者快速构建和优化语言模型应用。

LightEval开源项目 – 轻量级的LLM评估工具

LightEval是一个轻量级的LLM评估套件，Hugging Face在内部使用，并与最近发布的LLM数据处理库datatrove和LLM训练库nanotron集成。

LLMArena官网 – 轻松创建并分享LLM对比

LLMArena是一个易于使用的工具，可以帮助用户并排比较多个大型语言模型（LLM），并美观地分享这些比较。用户可以选择2到10个LLM进行对比，生成直观的比较结果。

Variance-Covariance Regularization-提升模型泛化能力与特征学习

模型在预训练阶段往往会专注于降低预训练损失函数的特征,导致特征学习和泛化能力不足。本文提出，提升模型习得表征的方差并降低其协方差，从而提升模型和上面的转移学习表现。

Bias-Bench开源项目 – 评估去偏见技术的有效性

Bias-Bench是一个实证调查，旨在评估针对预训练语言模型的去偏见技术的有效性。它通过比较不同的去偏见方法，帮助研究人员理解这些技术在模型训练中的作用。该项目为研究人员提供了一个标准化的平台，以便对去偏见技术进行基准测试和性能评估。

Residual Prompt Tuning开源项目 – 通过残差重参数化提升提示调优性能

Residual Prompt Tuning是一种通过残差重参数化方法来改善提示调优性能的技术，旨在提高自然语言处理任务中的效果，优化预训练语言模型的表现。

nlp-tutorial开源项目 – 自然语言处理的入门教程

自然语言处理（NLP）教程，涵盖文本词向量、词法分析、预训练语言模型等常见NLP任务，适合作为入门学习和基线参考。

TRIL开源项目 – 模块化强化学习与模仿学习库

TRIL是一个模块化的强化学习（RL）和模仿学习（IL）算法开发库，基于Hugging Face开源的transformers、accelerate和peft等库，直接支持预训练语言模型并支持分布式计算。它提供了多种算法和任务支持，适用于广泛的机器学习应用场景。

WebGLM开源项目 – 高效经济的网络增强问答系统

WebGLM旨在利用拥有100亿参数的通用语言模型（GLM）提供高效且经济实惠的网络增强问答系统。它旨在通过将网络搜索和检索功能集成到预训练的语言模型中，来改善现实世界应用程序部署。

R1-V开源项目 – 低成本高效的视觉语言模型训练方法

R1-V是一个开源视觉语言模型（VLM）项目，旨在通过强化学习和可验证奖励（RLVR）在极低成本（不到3美元）和短时间内（30分钟）实现超强泛化能力。该项目通过高效的训练方法和开源资源，显著提升了模型的性能，特别是在超出分布（OOD）测试中，2B模型在100个训练步骤后超越了72B模型的表现。

Magma开源项目 – 微软开源的多模态AI Agent基础模型

Magma是微软开源的多模态AI Agent基础模型，能够处理图像、视频、文本等多种数据类型，并具备心理预测功能，跨越数字和物理世界。它为虚拟与现实世界的交互提供强大支持，适用于复杂的交互任务，如UI导航和机器人操作，并在这些任务上达到SOTA性能。Magma还具备从海量未标注视频中学习的能力，展现出强大的泛化能力。