AI-magic AI-magic

联合理解

Unified-IO 2-处理图像与语言的多模态模型
Unified-IO 2-处理图像与语言的多模态模型

来自艾伦人工智能研究所（Allen Institute for AI）的新模型Unified-IO 2，能够处理图像和语言的多模态模型之一。
awesome-multimodal-ml开源项目 – 多模态机器学习资源的集合
awesome-multimodal-ml开源项目 – 多模态机器学习资源的集合

一个多模态机器学习资源的集合，包含各种模型、工具和研究材料，旨在帮助研究人员和开发者获取相关知识和实现。
Awesome-Remote-Sensing-Multimodal-Large-Language-Model开源项目 – 多模态遥感大语言模型
Awesome-Remote-Sensing-Multimodal-Large-Language-Model开源项目 – 多模态遥感大语言模型

该项目是一个集成多种遥感数据源的多模态大语言模型，旨在提升视觉与语言的理解能力，支持遥感数据的分析与应用。
UnIVAL开源项目 – 统一图像、视频、音频和语言任务的模型
UnIVAL开源项目 – 统一图像、视频、音频和语言任务的模型

UnIVAL是一个统一模型，旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练，展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值，展示了不同任务之间的协同作用，从而提升整体性能。
Qwen-VL-强大的视觉语言模型
Qwen-VL-强大的视觉语言模型

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。
NExT-GPT开源项目 – 任意多模态大语言模型
NExT-GPT开源项目 – 任意多模态大语言模型

NExT-GPT 是一个支持多种输入和输出形式的多模态大语言模型，具有灵活的处理能力，可广泛应用于文本、语音、图像和视频等多种场景。
VCoder开源项目 – 用于多模态大语言模型的视觉编码器
VCoder开源项目 – 用于多模态大语言模型的视觉编码器

VCoder是一个多功能视觉编码器，旨在提升多模态大语言模型的感知能力，支持图像推理和生成任务，能够识别和计算图像中的物体，同时提供分割和深度图等感知模式，并利用COCO数据集进行训练和评估。
Ferret-一款出色的多模态大型语言模型
Ferret-一款出色的多模态大型语言模型

Ferret是来自苹果的新型多模态大型语言模型，擅长图像理解和语言处理，尤其在理解空间参考方面展现了显著的优势。
Awesome-Multimodal-Continual-Learning开源项目 – 多模态持续学习资源库
Awesome-Multimodal-Continual-Learning开源项目 – 多模态持续学习资源库

多模态持续学习资源库：汇集多模态持续学习方法的资源库，提供最新的研究进展和相关论文，助力人工智能领域的学习与发展
OAKINK2开源项目 – 双手物体操控数据集
OAKINK2开源项目 – 双手物体操控数据集

OAKINK2是一个关于复杂任务完成中双手与物体交互的综合数据集，旨在为手部动作的机器学习模型提供丰富的训练数据，促进机器人和人工智能领域对人类交互的模拟与评估。
Monica图标

通过字节跳动免费使用满血可联网DeepSeek R1

现在注册，立即送145元代金券

字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型

马上试试
AI-magic收录了大量国内外AI工具箱，包括AI写作、图像、视频、音频、编程等各类AI工具，以及常用的AI学习、技术、和模型等信息，让你轻松加入人工智能浪潮。
Copyright © 2025 AI-magic 浙ICP备19008543号-3