Awesome CLIP开源 – CLIP研究资源汇总平台

基于预训练语言模型的零样本和少样本NLP的教程，提供了一系列的示例和实用工具，用于帮助研究人员和工程师理解和应用这些技术。

NoLA是由NOLA AI, Inc.开发的人工智能项目，专注于通过大型语言模型和预训练视觉模型实现无标签图像分类。该项目显著减少了对标注数据的依赖，利用类似CLIP的视觉-语言模型进行零样本学习，在提升分类准确性的同时降低企业成本。其技术核心结合了自然语言处理与计算机视觉，适用于数据稀缺场景，支持通过文本描述直接分类图像。

MILS是由Meta AI开发的创新框架，通过结合大型语言模型（LLM）的推理能力和现有多模态模型，实现零样本多模态学习。它无需额外训练即可处理图像、视频和音频数据，在描述任务中达到最先进水平，并支持媒体生成和跨模态运算。

DirectAI使用户能够快速构建强大的计算机视觉模型，无需编码或训练数据。它利用大型语言模型和零样本学习，根据用户的描述生成适合的模型。

Awesome_Multimodal是一个精心策划的GitHub项目，提供关于多模态大语言模型（MLLM）的全面资源集合。

通过高质量合成数据提升多模态多语言嵌入性能的创新项目，支持多种任务和语言，在MMEB基准测试中达到SOTA性能，致力于推动跨模态学习的进步。

Galleon是一个虚构的AI项目，专注于数学问题解决。其AI模型在MATH评估中的平均得分为65.5%，标准误差为0.7%，95%置信区间为64.1%至66.9%，表现优于另一个虚构项目Dreadnought。尽管项目是虚构的，但其表现指标和功能推测表明它在数学问题解决领域具有竞争力。

mT0是BLOOMZ & mT0模型家族的一部分，是一种多语言大语言模型，能够零样本学习地遵循人类指令，适用于数十种语言。它通过在多语言任务混合（xP3）上进行微调，实现了跨语言泛化能力，能够在没有特定训练的情况下处理新任务和新语言。mT0支持101种语言，尤其在英语提示下表现良好。模型提供多种参数规模（300M至176B），适合不同计算需求和应用场景。

FLAN（Fine-tuned LAnguage Net）是一个通过指令微调技术提升语言模型泛化能力的项目，专注于自然语言处理（NLP）领域。它通过在多样化的指令数据集上微调预训练模型（如T5），使模型能够处理未见过的任务，如分类、翻译、问答等，特别适用于零样本和少样本学习场景。项目强调模型规模越大性能越好，且支持多语言任务，但需注意其数据可能存在污染问题。

Lumina-mGPT是一个多模态自回归模型家族，专注于从文本描述生成高质量的图像，能够处理多种视觉和语言任务，具备强大的生成能力和灵活的应用场景。

Visual-RFT是首个将深度强化学习策略应用于多模态领域的视觉强化微调框架。它通过规则化可验证奖励来提升视觉感知任务的性能，支持多种视觉任务，如细粒度图像分类和开放词汇目标检测。项目完全开源，提供训练代码、数据和评估脚本，帮助研究者快速上手。

DexGraspVLA是一个面向通用灵巧抓取的视觉-语言-动作框架，能够在复杂场景中实现超过90%的抓取成功率，有效解决机器人在真实世界中抓取多样化物体的难题。该框架结合了预训练的视觉语言模型与扩散策略，实现了复杂任务的高效推理，并提供了可视化工具，帮助理解模型内部行为。

MIMIC-IT：多模态上下文指令调优，展示了一个包含 280 万个多模态指令-响应对的数据集，以及从图像和视频中派生的 220 万个独特指令。

E.T. Bench旨在实现开放事件级的视频语言理解，结合视频和语言数据，推动多模态学习的进展。

R1-Onevision是一个基于Qwen-VL架构的视觉模型，具有强大的推理能力，模型大小为7B。它能够处理复杂的视觉推理任务，适用于图像理解和分析，同时支持多模态学习任务。