Qwen2.5VL 是阿里巴巴 Qwen 系列的最新旗舰视觉语言模型,专注于图像、文本和视频的多模态理解与识别。该模型在视觉代理、视频理解和文档解析等方面表现出色,支持层级定位、JSON 格式输出和秒级事件定位。Qwen2.5VL 能够处理超过 1 小时的视频,适用于安防、教育、商业和娱乐等多个领域。
通义是由阿里云开发的大型语言模型,支持多轮对话、内容创作、逻辑推理、多模态理解和多语言支持。它于2023年9月13日公开上线,提供提示词模板、联网搜索功能,且模型开源,用户可自由定制和部署。通义旨在成为用户的个人AI助手,辅助工作、学习和生活,覆盖广泛的应用场景。
Janus-Pro-7B 是一个创新的多模态框架,旨在统一处理多模态理解和生成任务。它通过解耦视觉编码,分别处理理解和生成任务,使用 SigLIP-L 编码器提取图像的高维语义特征,并通过 VQ 分词器将图像转换为离散 ID 序列。其核心是一个自回归 Transformer,处理多模态特征序列。研究表明,该模型在扩展训练数据和模型规模后,从 1.5B 参数提升至 7B 参数,显著提高了性能,适合下一代统一多模态模型的发展。
UnifiedReward是首个统一的多模态理解和生成评估奖励模型,支持成对排名和点式评分,旨在助力视觉模型的偏好对齐。该项目首次实现了图像、视频生成与理解的全面覆盖,提供了完整的训练代码和数据集,并在多个基准测试中表现卓越。
Audio-Reasoner是首个支持原生深度推理的大规模音频语言模型,基于大规模音频链式思维数据(CoTA)进行训练,实现了音频领域的深度推理和结构化思维。
UniTok是一个专为视觉生成与理解任务设计的统一视觉词元化器,能够高效地将视觉信息转化为token,适用于多种自回归生成模型和多模态理解模型。通过256个token即可实现低至0.39的rFID指标,生成效果出色。从零开始训练的模型在ImageNet零样本准确率上达到70.5%,表现优异。
Everlyn-1是首个开源的自回归基础视频AI模型,为视频生成和多模态理解带来突破。它通过创新性地引入Wasserstein距离优化矢量量化,显著提升了训练稳定性和性能。同时,其提出的EfficientARV框架能够高效生成图像和视频,支持多种生成任务。此外,ANTRP技术有效减少多模态大语言模型中的幻觉现象,进一步提升生成质量。
Anole是一个开源的自回归原生多模态模型,专注于交错图像和文本的生成。它支持文本到图像生成、交错文本-图像生成、文本生成及多模态理解,旨在提供丰富的生成能力和理解能力。
Janus是一个多模态理解和生成一体的模型,能够同时理解图片内容并生成新图像。它通过解耦设计来满足理解和生成任务对视觉编码器的不同需求,采用统一的自回归变换器架构处理各种模态的输入。
Human or AI? 是一款社交游戏,旨在挑战玩家通过图像判断其是真实照片还是AI生成的。通过参与游戏,玩家可以测试自己的AI检测能力,同时该项目也适用于学术和研究目的。
SegViT是一个基于纯视觉变换器的语义分割项目,旨在提高图像分割任务的效率和性能。它能够处理多种图像分割任务,适应不同的应用场景,为研究人员和开发者提供了强大的工具。
Chinese LLaVA是一个支持中英文双语的开源多模态模型,能够进行视觉与文本的结合对话,具备高效的理解能力和灵活的应用场景,适合商用开发。
阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型,结合了图像和文本输入,能够生成准确的文本和边界框输出,增强了图像描述、问答、定位和文本-图像理解等任务的能力。
MiniGPT-4是一款结合视觉与语言的大模型,能够基于图片内容生成描述、回答问题,甚至进行推理分析。它在视觉理解和自然语言处理方面表现出色,可识别图像细节、物体关系,并结合上下文提供智能解读。MiniGPT-4是GPT-4的开源版本,提供强大的自然语言处理能力,适用于多种AI应用场景,包括图像描述生成、文本与图像的问答、图像内容分析以及多模态信息检索。
这个项目收集了很多使用OpenAI Vision API来对图像、视频文件和网络摄像头流进行推理的示例。项目结合了多种技术,实现了高效的图像处理和准确标注,适合开发者和研究人员进行实验和学习。
traiNNer是一个基于PyTorch的深度学习框架,旨在实现图像和视频的超分辨率、恢复以及图像到图像的翻译。它提供了灵活的模型结构,支持多种功能,适用于不同的图像处理需求。
Undress AI v2 是一款基于人工智能的应用,用户只需上传一张照片,即可自动处理结果,展示未穿衣物的效果。该项目结合了先进的计算机视觉技术,旨在为用户提供隐私保护的同时,探索图像处理的可能性。
LISA是一个将语言大模型(LLM)与其他视觉模型(如SAM)结合的分割助手,旨在根据复杂和隐含的查询文本输出分割掩码。