Phi-4 多模态模型官网 – 微软发布的多模态智能模型

微软发布的 Phi-4 多模态模型，具备图转文、图转声音、声音转文的能力，并有一定的推理能力。该模型适用于嵌入式设备或特殊领域的移动设备，能够在多种场景下实现多模态数据的转换和处理。

Phi-4 多模态模型的特点:

1. 图转文功能
2. 图转声音功能
3. 声音转文功能
4. 具备一定的推理能力
5. 适用于嵌入式设备或特殊领域移动设备

Phi-4 多模态模型的功能:

1. 用于图像到文本的转换
2. 用于图像到声音的转换
3. 用于声音到文本的转换
4. 在嵌入式设备上运行
5. 在特殊领域的移动设备上应用

相关导航

TorchScale开源项目 – 探索AI大模型的基础研究

TorchScale 包含我们在Transformers稳定性（DeepNet）、通用性（Magneto/Foundation Transformers）和效率性（X-MoE）的一系列研究的官方实现。我们希望通过基础本质的研究探索AI（尤其是大模型）的通用结构，并在NLP，CV，Speech和多模态等领域的任务和基础模型中广泛验证，欢迎大家使用、交流、合作开发。

Neo4j GraphRAG官网 – 知识图谱增强的生成式AI工具

Neo4j GraphRAG是一个结合图数据库和检索增强生成（RAG）技术的综合性项目，旨在通过结构化知识图谱提升生成式AI应用的准确性、可解释性和开发效率。项目包含知识图谱构建工具、对话AI组件和Python开发包，支持从非结构化数据（如文档、视频字幕）自动构建知识图谱，并集成多种大语言模型（LLM）和向量数据库技术。

MyScale官网 – 下一代AI数据库

MyScale是一款将向量搜索与SQL分析相结合的下一代AI数据库，提供流畅、完全托管且高性能的体验。它使用户能够以无与伦比的速度和效率从大规模多模态向量数据集中解锁洞察。

Amazon Bedrock官网 – 亚马逊云科技推出的AI模型平台

Amazon Bedrock 是一个完全托管的服务，通过单一API提供来自领先AI公司和亚马逊自身的多种高性能基础模型（FMs）。它支持用户构建和扩展生成式AI应用，确保安全性、隐私性和负责任的AI实践。用户可以试验不同的模型，使用如微调（fine-tuning）和检索增强生成（RAG）等技术自定义模型，并创建与企业系统交互的代理。平台整合了超过100个基础模型，包括亚马逊自研的Nova系列模型和第三方模型，如DeepSeek-R1、Luma Ray2、Meta的SAM 2.1、Claude3.7等。

GR00T-N1-2B模型 – 专为类人机器人设计的开源通用大型模型

GR00T-N1-2B 是 NVIDIA 开发的一个开源通用大型模型，专为类人机器人设计，能够处理语言、图像和视频等多模态数据。该模型采用‘快慢思考’架构，结合扩散变换器模块和视觉-语言模块，生成机器人任务的动作指令。其训练数据采用‘数据金字塔’结构，包括网络数据、人类视频数据、合成数据和真实机器人硬件数据，以确保实际应用的准确性和适应性。

OpenEMMA开源项目 – 开源自动驾驶多模态模型

OpenEMMA 是一个基于 LLaVA 的多模态大语言模型的开源端到端自动驾驶框架。它能够整合文本和摄像头等多模态输入，精确预测未来行驶路径，并提供决策理由，支持自动驾驶系统的开发、测试和研究。

pyspur开源项目 – 轻量级可视化AI工作流工具

pyspur 是一个轻量化且可视化的AI工作流工具，专为构建和管理AI工作流而设计。与Dify相比，pyspur更为轻便，且完全开源。它支持拖拽式构建、多模态数据处理、工具集成、RAG（检索增强生成）等功能，适用于需要快速原型开发、文档处理、多工具集成和AI模型评估的场景。pyspur基于Python开发，支持超过100个LLM提供商、嵌入器和向量数据库，能够满足多样化的AI开发需求。

LabelU开源项目 – 多功能数据标注平台

LabelU 是一个全面的数据标注平台，专为处理多模态数据设计。它提供了一系列先进的标注工具和高效的工作流程，使用户能够轻松应对图像、视频和音频的标注任务。LabelU 旨在满足复杂数据分析和模型训练的需求，支持目标检测、分类、分割、关键点、折线、OCR等多种算法场景。此外，它还支持导入预标注的JSONL文件进行二次修改，并允许使用大模型进行自动标注后进行人工批量审核和修改。

OpenBioMed开源项目 – 生物医药AI工具平台

OpenBioMed是一个Python深度学习工具包，专注于AI驱动的生物医药研究。它提供了灵活的多模态数据处理API，涵盖分子、蛋白质、单细胞、自然语言和知识图谱等多种数据类型。OpenBioMed集成了20多种工具，支持从传统AI药物发现任务到新兴的多模态挑战的广泛应用。此外，它还提供了易于使用的接口，用于构建工作流和开发基于大语言模型（LLM）的智能代理，以解决复杂的生物医学研究任务。

Janus-Pro-7B官网 – 高分辨率视觉多模态模型

Janus-Pro-7B是DeepSeek发布的一款视觉多模态模型，支持384x384分辨率的图像输入，并具备强大的图像生成功能。该模型结合了视觉和语言处理的多模态能力，能够在普通电脑上高效运行，适用于多种视觉和多模态任务。

CM3leon by Meta官网 – 创新的文本与图像生成工具

CM3leon是一个多功能的生成性AI模型，能够高效地进行文本到图像和图像到文本的转换，适用于创意、研究及教育等多个领域。

Pathway开源项目 – Python流处理与实时分析框架

Pathway是一个Python ETL框架，专注于流处理、实时分析、LLM管道和RAG开发。它通过易用的Python API和强大的Rust引擎，简化了数据处理任务。Pathway支持批处理和流处理，适用于开发和生产环境，能够处理本地开发、CI/CD测试、批处理作业、流重放和数据流处理。Pathway的多线程、多进程和分布式计算能力使其能够高效处理大规模数据。它还提供了丰富的连接器、状态转换、持久化、一致性保证以及LLM工具，帮助用户快速构建和部署数据处理管道。