Galleon是一个虚构的AI项目,专注于数学问题解决。其AI模型在MATH评估中的平均得分为65.5%,标准误差为0.7%,95%置信区间为64.1%至66.9%,表现优于另一个虚构项目Dreadnought。尽管项目是虚构的,但其表现指标和功能推测表明它在数学问题解决领域具有竞争力。
LIMO项目研究如何在只有少量训练数据的情况下,让大型语言模型具备复杂的数学推理能力。项目验证了少数据量的训练数据是否能够真正提升模型的推理能力,而不是仅仅让模型记忆训练数据。LIMO通过精心构造的高质量问题和推理链,利用预训练模型中的数学知识,仅需数百个示例即可激发模型的复杂推理能力。项目在多个数学推理基准测试中取得了显著的性能提升,并发布了高质量的数据集和评估工具。
DART是一个通过可微提示技术改进预训练语言模型在少样本学习中表现的项目。它旨在优化预训练语言模型的提示设计,使其在数据有限的情况下仍能表现出色。
一种处理噪声标签的少样本学习方法,旨在提高模型在标签不准确情况下的学习能力。该方法利用少量标记样本进行训练,具备对标签噪声的鲁棒性,适用于图像分类等任务。
基于CLIP(Contrastive Language-Image Pretraining)的研究成果汇总项目,旨在整理和分享CLIP相关的研究进展,包括CLIP的训练方法、改进、数据处理、知识蒸馏、损失函数,以及在零样本、少样本和分类等任务中的应用。
med-flamingo是一个基于OpenFlamingo-9B和LLaMa-7B构建的模型,能够在医学领域执行少样本的视觉问答任务。该项目结合了CLIP ViT/L-14视觉编码器,并使用约4.7K本医学教科书进行训练,包含0.8M张图像和548M个token,支持1.6M个图像字幕对的生物医学数据集。
一份全面的Solar模型提示工程指南,提供了系统化的教程从基础到高级的提示技巧。
基于预训练语言模型的零样本和少样本NLP的教程,提供了一系列的示例和实用工具,用于帮助研究人员和工程师理解和应用这些技术。
TaiChi是一个开源库,专注于少样本学习,可以支持多种自然语言处理任务,具有灵活的API设计和强大的可扩展性,适合研究者和开发者使用。
书生·浦语(InternLM)是由上海人工智能实验室和 SenseTime(贡献相等)与香港中文大学、复旦大学和上海交通大学合作开发的多语言大型语言模型。
基于 LLaMA-7B 经过中文数据集增量预训练,旨在提升中文自然语言处理能力。
CuteGPT是复旦大学知识工场实验室推出的一个支持中英双语的开源对话语言模型,基于Llama模型结构进行改进和扩展,规模为13B(130亿)参数,可以在单张3090显卡上进行int8精度的推理。
Lit-LLaMA是一个独立实现的LLaMA,完全开源,遵循Apache 2.0许可证,基于nanoGPT构建,旨在解决原始LLaMA代码在GPL许可证下的限制,以支持更广泛的学术和商业应用。