孟子 GPT 大语言模型官网 – 多模态大语言模型

OmniAlign-V是一个专为多模态大语言模型（MLLMs）设计的项目，旨在通过提供高质量的数据集和优化方法，提升模型在符合人类偏好方面的对齐能力。项目包含20.5万高质量图像问答对，以及专为DPO优化的负样本数据集，帮助模型更好地学习和对齐。此外，项目还引入了MM-AlignBench基准测试，使用GPT-4o作为裁判，客观评估模型在对齐人类偏好方面的表现。

R1-AQA是基于Qwen2-Audio-7B-Instruct的音频问答模型，通过群组相对策略优化（GRPO）算法进行强化学习优化。在MMAU Test-mini基准测试中仅用38k样本即达到64.50%的平均准确率，显著优于传统监督式微调方法。该项目创新性地将GRPO应用于音频领域，展示了小样本场景下的高效性能，但研究也指出大型音频语言模型在听觉-语言推理方面仍落后于人类水平。

NExT-GPT 是一个支持多种输入和输出形式的多模态大语言模型，具有灵活的处理能力，可广泛应用于文本、语音、图像和视频等多种场景。

OpenOmni 是一个开源的多模态大语言模型，旨在解决多模态数据稀缺和计算资源有限的问题。它能够实时生成带有情感的语音，支持语音、文本、图像和视频的多模态理解，并提供两种实时情感语音生成模式（CTC模式和AR模式），以平衡速度与质量。其灵活的框架设计使其能够快速应用于多种下游任务，如语音导航和多角色对话。

PaLM（Pathways Language Model）是Google开发的大型语言模型，首发于2022年4月，最新版本PaLM 2于2023年5月推出。 该模型拥有5400亿参数，训练数据涵盖7800亿标记，包含50%社交媒体内容以增强对话能力。 其特色在于多语言支持（超100种语言）、强大的推理和编码能力，并驱动Google Bard、Workspace等25+产品。 创新性地衍生出医疗专用版Med-PaLM 2（可分析X光片）、安全专用版Sec-PaLM等垂直领域变体。

Woodpecker是一种用于多模态大语言模型的幻觉修正工具，旨在提高生成文本的准确性和可靠性。它支持多种输入类型和数据源，集成简单，易于使用，能够有效地纠正生成过程中出现的错误信息。

该项目汇总了与多模态大语言模型（LLM）相关的研究论文和资源，提供最新的研究趋势和进展，支持多种模态的学习方法，适用于学术研究和工程实践。

该项目是一个多模态大语言模型（MLLM）幻觉相关论文资源列表，汇集了关于MLLM中幻觉现象的研究论文，提供分类、标签和摘要，便于研究人员快速获取信息，并持续更新确保资源的时效性。

MUG-U是一个强大的多模态大语言模型（MLLM），支持文本、图像、视频等多种输入，能够帮助用户轻松完成复杂的多模态任务。它在多个基准测试中表现卓越，平均准确率高达71.4%，并提供简单易用的API接口，方便快速上手。

SpeechGPT是一个多模态大语言模型，具备跨模态对话能力，能够感知和生成语音与文本内容。它通过将连续的语音信号离散化，实现了语音与文本模态的统一处理。该项目还包括SpeechGPT-Gen，专注于链式信息语音生成。团队还开发了SpeechTokenizer等工具，进一步推动了语音语言模型的发展。

该项目是一个多模态大语言模型在数学、STEM及编程领域的论文集合，旨在整合和分享最新的研究成果，推动相关领域的创新与发展。

HPT是HyperGAI的开源多模态大语言模型，能够有效理解文本和视觉输入之间的关系，提供强大的语义理解和生成能力，适用于各种应用场景。

该项目是一份多模态大语言模型相关论文和资源的阅读清单，旨在汇集、分类和整理最新的研究成果，帮助研究人员和开发者了解多模态LLM的进展和最佳实践。

few-shot是一个基于PyTorch实现的小样本学习机器学习项目仓库。它提供了一个模块化和可扩展的框架，支持多种小样本学习任务，如分类和回归。项目包含预训练模型和数据集，便于快速实验，并提供数据加载、预处理和评估的实用工具。

hunyan video 是腾讯公司于2024年开源的一个重量级视频生成模型，拥有约13亿参数（原介绍为130亿，可能存在拼写错误），是目前最大的开源视频生成模型之一。该模型通过文本或图像生成高质量视频，尤其在图像质量、动态流畅性和语义理解方面表现优异。支持多模态大语言模型作为文本编码器，并采用3D VAE技术进行数据压缩。生成的视频质量可媲美电影级，支持多角度镜头自动切换，尤其对中国风格内容有较强表现力。用户可通过官网或元宝APP在线体验，或通过GitHub下载代码和模型权重自行部署。