FiT3D开源项目 – 通过3D微调提升2D特征表现

PaLI-3是一个相对更小、更快且更强大的视觉语言模型，其性能表现优于大小为其10倍的类似模型，专注于多模态任务的高效处理。

InternVL 是由 OpenGVLab 团队开发的开源多模态大模型，旨在提供接近 GPT-4V 和 Gemini Pro 等商业模型性能的替代方案。它支持多种模态任务，包括图像理解、文本生成、跨模态检索等，并且在多个基准测试中表现出色。InternVL 系列模型参数覆盖从 1B 到 78B，适用于各种规模和复杂度的任务。

SPARC是一种用于从图像-文本对中预训练更精细的多模态表示的方法，通过在描述中的每个token上学习图像块的分组来实现。

该项目提供了用于Google扫描对象数据集的MuJoCo模型，旨在支持物体识别和机器人操作任务。它包含多种真实物体的详细几何数据，并与MuJoCo仿真环境无缝集成，适用于多种物理仿真和机器人研究。

R1-Onevision是一款开源的多模态大语言模型，具备深度推理能力，尤其在视觉推理任务中表现卓越。它在数学、科学、图像理解和逻辑推理等多个领域表现出色，并在多项推理基准测试上超越了Qwen2.5-VL-7B和GPT-4V模型。该模型能够处理复杂的图像和文本数据，解决深层次的视觉推理问题，提供7B模型权重，推理性能卓越。

GPT-4 是 OpenAI 开发的最新大型语言模型，能够处理图像和文本输入，生成文本输出。相较于前代 GPT-3.5，在安全性、事实准确性和内容生成方面有显著提升。它在各种专业和学术基准测试中表现出人类水平的表现，例如通过模拟律师考试成绩在顶尖 10% 左右。GPT-4 通过强化学习从人类反馈中进行调整，以提高事实准确性和遵循用户指令的能力。

一种处理噪声标签的少样本学习方法，旨在提高模型在标签不准确情况下的学习能力。该方法利用少量标记样本进行训练，具备对标签噪声的鲁棒性，适用于图像分类等任务。

GPT4视觉用例集锦是一个集合了多种视觉任务的项目，基于最新的GPT-4模型，提供丰富的示例和用例，旨在帮助用户更好地利用视觉技术。该项目采用易于使用的API接口，支持图像分类、对象检测、图像生成和视觉问答等功能，适用于广泛的应用场景。

Lobe 是一款免费且易于使用的应用程序，用户可以训练自定义机器学习模型并将其融入自己的应用中。它提供了可视化编程界面，支持多种任务，如图像分类、目标检测和数据分类。用户只需下载应用，收集并标记图像或数据，Lobe 会基于标记的示例自动训练模型，用户可以使用摄像头或图像来测试模型，并在改进预测后将其导出到应用中进行部署。

OpenGlass 是一款经济实惠的产品，用户只需 $20 就能将任何普通眼镜转变为 AI 智能眼镜。它支持多项先进的 AI 功能，帮助用户更好地记录生活、识别物体、计算卡路里，并进行实时翻译。

LLaVA-CoT是第一个能够进行自发、系统推理的视觉语言模型，类似于GPT-01，具有强大的多模式处理能力。该模型通过11B参数的强大架构，支持复杂的视觉语言任务，并在多模式基准测试中表现优于多个现有模型。

VGSE是一个用于零样本学习的工具，利用视觉基础的语义嵌入技术，能够在没有标记示例的情况下进行图像分类和视觉数据的语义理解。

ChatGLM-6B是清华大学开发的一个开源双语对话语言模型，基于General Language Model (GLM)架构，具有62亿参数。它支持中英双语对话，并具备图像理解的多模态功能。模型经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术，旨在提供高质量的对话生成和自然语言处理能力。结合模型量化技术，可在消费级显卡上本地部署（INT4量化级别下最低只需6GB显存），并针对中文问答和对话进行了优化。

DINOv2是Meta AI开发的最先进计算机视觉模型，具有自监督学习功能，无需大量标注数据即可训练。它能够直接从图像中学习特征，适用于图像分类、分割、检索和深度估计等多种任务。DINOv2的预训练版本已上线，与CLIP和OpenCLIP等模型竞争，并在众多任务中表现出色。

Computer Vision Recipes 是一个专注于计算机视觉领域的项目，提供了最佳实践、丰富的代码示例和详细的文档支持。它涵盖了多种计算机视觉任务，如图像分类、目标检测等，旨在帮助开发者快速实现和集成计算机视觉解决方案。项目易于上手和扩展，适用于学习、开发、原型设计、教育培训以及现有项目的集成。

一个专注于挖掘多模态视觉语言模型潜力的开源项目，支持从2B到34B不同规模的密集和MoE大型语言模型，具备图像理解、推理和生成的能力。