Sparse and Robust Pre-trained Language Models开源项目 – 稀疏与稳健的预训练语言模型

Mask-tuning是一种训练方法，通过将训练目标集成到微调过程中，旨在提升预训练语言模型在特定任务上的表现和泛化能力，尤其是在未见过的数据上。

该研究定义了一种风格的语言模型代理，该代理具有推理和运用外部知识的能力，通过对先前轨迹的迭代训练来提升其性能。

该项目专注于在知识蒸馏中弥合不同架构之间的性能差距，通过有效的策略提升模型的表现。

Noisy-Model-Learning项目旨在理解和缓解在下游任务中预训练过程中的标签噪声影响，从而提高模型在实际应用中的性能。该项目通过分析标签噪声对模型学习的影响，提出有效的策略和方法，以帮助研究人员和开发者在处理带有噪声标签的数据集时，提升模型的准确性和可靠性。

fairseq是一个用于序列建模的开源工具包，支持多种自然语言处理和语音处理任务。

QA-LoRA: 语言大模型的量化感知低秩适应。旨在量化和适应之间存在的不平衡自由度，通过组内操作符增加量化自由度，减少适应自由度，易于实施且性能显著提升。

WhatLetter源自移民的旅程，是一个智能文档助手。它可以翻译任何文本，打破语言障碍，回答问题并用你的语言进行对话。不仅仅是翻译，它更注重理解，帮助用户获得自信和独立。

BiPE (Bilevel Positional Encoding) 旨在通过双层位置编码技术，提高模型在处理不同输入长度时的预测能力，尤其适用于序列建模任务。该项目通过增强位置编码的表达力，从而改善模型在长文本和变长输入上的性能。

hl-gauss-pytorch是一个基于PyTorch实现的高斯直方图损失函数（HL-Gauss），为回归任务提供了全新的视角，能够有效提升模型的性能。

该项目专注于通过投影器集成方法增强特征蒸馏技术，以提高模型性能和特征提取能力。

RIP是一种新型数据筛选方法，通过分析拒绝回复的质量、长度以及奖励差异来筛选指令提示，从而提升指令微调数据的质量和模型性能。该方法基于直接偏好优化（DPO）中的偏好对，能够筛选掉低质量的指令提示，并可以扩展为Self-RIP，用于生成高质量的合成指令数据。研究显示，RIP在Llama 3.1-8B和Llama 3.3-70B模型上显著提升了性能。

Hugging Face 实现并开源的推理阶段计算扩展研究，通过动态计算策略提升小型语言模型的性能。

LLaMA3揭示了模型架构不变的情况下，通过增加数据量可以显著提升模型性能的现实。

该项目提供了一种视频语义分割的方法，利用帧间特征重建技术，在半监督学习的框架下提升模型性能，适用于缺乏标注数据的场景。

本项目提出了一种新型的无数据知识蒸馏（DFKD）方法，通过结合特征合成和空间一致性来提升合成数据的质量并增强学生模型的性能。该方法生成多样且信息丰富的特征来指导学生模型，并使用空间一致性损失来鼓励学生模型在合成数据上产生空间一致的预测。这种方法允许在没有原始训练数据的情况下有效地从教师模型向学生模型转移知识，解决了隐私或存储限制的问题。

AceCoder项目旨在通过自动化流程大规模生成高质量、可验证的代码训练数据，从而提升代码生成模型的性能。

该研究调查了小型Transformer如何使用下一个token预测目标有效地学习算术运算和基本函数，包括加法、乘法、平方根等。