nano-simsiam是一个极简的PyTorch实现的SimSiam自监督学习框架,仅用400行代码实现,基于ResNet50在ImageNet上达到良好性能。它支持分布式训练、实时KNN评估和自动混合精度训练,非常适合研究原型开发,代码简洁易于理解和修改。
VICReg(Variance-Invariance-Covariance Regularization)是一种自监督学习框架,通过方差、不变性和协方差正则化来改善特征表示,旨在无标签数据的情况下训练模型并提高无监督任务的表现。
一种利用自我学习原则的度量学习方法,无需标签。
该项目专注于对独立成分进行对齐,以改善多任务学习的效果。通过利用独立成分分析技术,提升多任务学习场景中的性能,适用于多种机器学习任务。
Dioptra是一个开源的数据策展和管理平台,旨在支持计算机视觉、自然语言处理和大型语言模型。它帮助用户策划有价值的未标记数据,注册元数据,诊断模型失效模式,并与标注和再训练系统整合。
该研究开发了一种简化的自我训练方法,称为ReST^EM,该方法使用期望最大化(expectation maximization)来微调语言大模型(LLM),表现优于仅依赖人类数据进行微调的策略。
Meta-Transformer是一个用于多模态学习的统一框架,能够处理各种模态如自然语言、2D图像、3D点云、音频、视频、时间序列和表格数据。它采用冻结的编码器进行多模态感知,并且可以在没有配对的多模态训练数据的情况下进行训练,同时可学习的数据预处理器能够处理每个输入模态,生成共享的嵌入表示。
RLAIF通过人工智能反馈扩展人类反馈的强化学习,表明可以在不依赖人类注释者的情况下产生与RLHF相当的改进。