OpenEMMA开源项目 – 开源自动驾驶多模态模型

SpeechGPT是一个多模态大语言模型，具备跨模态对话能力，能够感知和生成语音与文本内容。它通过将连续的语音信号离散化，实现了语音与文本模态的统一处理。该项目还包括SpeechGPT-Gen，专注于链式信息语音生成。团队还开发了SpeechTokenizer等工具，进一步推动了语音语言模型的发展。

CoDi-2是一种多功能、交互式的多模态大语言模型 (MLLM)，它可以以任意对任意的方式遵循复杂的多模态交错指令、进行上下文学习 (ICL)、推理、聊天、编辑等。

HPT是HyperGAI的开源多模态大语言模型，能够有效理解文本和视觉输入之间的关系，提供强大的语义理解和生成能力，适用于各种应用场景。

llama_index是一个高效的半结构化检索工具，专注于多模态数据处理，能够与Gemini Pro Vision无缝集成，提供易于使用的API，适合开发者和研究人员在各种应用场景下进行数据检索和分析。

LLaVA是一个轻量级的多模态大模型推理框架，结合了视觉和语言理解能力，基于LLaMA架构和视觉Transformer，支持图像+文本的高效处理。它能够理解和分析图像内容，适用于视觉问答、图片理解、AI助理等多种任务。

Pathway是一个Python ETL框架，专注于流处理、实时分析、LLM管道和RAG开发。它通过易用的Python API和强大的Rust引擎，简化了数据处理任务。Pathway支持批处理和流处理，适用于开发和生产环境，能够处理本地开发、CI/CD测试、批处理作业、流重放和数据流处理。Pathway的多线程、多进程和分布式计算能力使其能够高效处理大规模数据。它还提供了丰富的连接器、状态转换、持久化、一致性保证以及LLM工具，帮助用户快速构建和部署数据处理管道。

MiniCPM-o 是一款轻量级多模态大语言模型，具有8B参数，能够在手机、iPad等终端设备上高效运行。它支持视觉、语音和多模态实时流媒体处理，性能达到GPT-4o水平。MiniCPM-o 具备领先的视觉能力、创新的语音交互功能，支持多语言和多模态实时流媒体处理，广泛应用于实时语音对话、OCR、视频理解、多语言支持等场景。

孟子 GPT 大语言模型是由澜舟科技开发的一个大规模语言模型，支持多语言和多模态数据处理，广泛应用于文本理解和生成任务。该模型在国内评测中表现优异，如 C-EVAL 和 SUPERCLUE，并于 2023 年底通过网信办备案，已面向公众开放。其技术特点包括多模型架构支持、知识图谱增强、小样本学习能力以及图文双模态输入等。

OmniAlign-V是一个专为多模态大语言模型（MLLMs）设计的项目，旨在通过提供高质量的数据集和优化方法，提升模型在符合人类偏好方面的对齐能力。项目包含20.5万高质量图像问答对，以及专为DPO优化的负样本数据集，帮助模型更好地学习和对齐。此外，项目还引入了MM-AlignBench基准测试，使用GPT-4o作为裁判，客观评估模型在对齐人类偏好方面的表现。

Amazon Bedrock 是一个完全托管的服务，通过单一API提供来自领先AI公司和亚马逊自身的多种高性能基础模型（FMs）。它支持用户构建和扩展生成式AI应用，确保安全性、隐私性和负责任的AI实践。用户可以试验不同的模型，使用如微调（fine-tuning）和检索增强生成（RAG）等技术自定义模型，并创建与企业系统交互的代理。平台整合了超过100个基础模型，包括亚马逊自研的Nova系列模型和第三方模型，如DeepSeek-R1、Luma Ray2、Meta的SAM 2.1、Claude3.7等。

该项目是一个多模态大语言模型在数学、STEM及编程领域的论文集合，旨在整合和分享最新的研究成果，推动相关领域的创新与发展。

pyspur 是一个轻量化且可视化的AI工作流工具，专为构建和管理AI工作流而设计。与Dify相比，pyspur更为轻便，且完全开源。它支持拖拽式构建、多模态数据处理、工具集成、RAG（检索增强生成）等功能，适用于需要快速原型开发、文档处理、多工具集成和AI模型评估的场景。pyspur基于Python开发，支持超过100个LLM提供商、嵌入器和向量数据库，能够满足多样化的AI开发需求。

OpenOmni 是一个开源的多模态大语言模型，旨在解决多模态数据稀缺和计算资源有限的问题。它能够实时生成带有情感的语音，支持语音、文本、图像和视频的多模态理解，并提供两种实时情感语音生成模式（CTC模式和AR模式），以平衡速度与质量。其灵活的框架设计使其能够快速应用于多种下游任务，如语音导航和多角色对话。

该项目是一个多模态大语言模型（MLLM）幻觉相关论文资源列表，汇集了关于MLLM中幻觉现象的研究论文，提供分类、标签和摘要，便于研究人员快速获取信息，并持续更新确保资源的时效性。

GR00T-N1-2B 是 NVIDIA 开发的一个开源通用大型模型，专为类人机器人设计，能够处理语言、图像和视频等多模态数据。该模型采用‘快慢思考’架构，结合扩散变换器模块和视觉-语言模块，生成机器人任务的动作指令。其训练数据采用‘数据金字塔’结构，包括网络数据、人类视频数据、合成数据和真实机器人硬件数据，以确保实际应用的准确性和适应性。