多模态处理

PromptGFM是一个通过指令引导语言模型（LLMs）模拟图神经网络（GNNs）功能的假设性研究项目。其核心创新在于结合图结构词汇表和特定提示设计，使传统擅长文本处理的LLMs能够高效处理图数据任务（如知识图谱推理、社交网络分析等），无需训练专用GNNs模型。该项目显著提升了文本-图混合任务的性能，并具备跨领域图数据的强适应性，为资源受限场景提供了轻量化解决方案。

AI-native Memory 是一种创新技术，旨在通过三层记忆建模和自我对齐技术，帮助AI系统更好地理解和模拟个体的记忆和体验。它支持多种模态（如文本、图像、音频、视频）和不同粒度的记忆处理，功能包括组织和索引用户细节、通过推理转换数据，以及预测用户行为。

Azure AI Foundry 是由 Microsoft Azure 提供的综合平台，专注于生成式 AI 应用的开发和部署。它整合了 AI、数据、安全和应用的全生命周期管理，支持从模型选择到部署的整个流程，并注重安全性和隐私保护。平台提供了丰富的模型选择、无缝自定义功能，以及与多种开发工具的集成，适用于企业级 AI 项目的构建与扩展。

Free Canvas 是百度文库推出的人工智能创作工具，旨在帮助用户高效处理和生成多种格式的内容。它支持上传文字、音频、PDF、PPT、视频等素材，并结合 AI 技术进行智能处理，生成结构化的 PPT 或其他文档。该工具特别适合需要从大量信息中提炼精华的用户，能够显著提升内容生产的效率。

豆包AI（Beanbag AI）是字节跳动开发的AI聊天助手，专为中国市场设计，拥有数百万月活跃用户。它提供多模态处理能力（文本、图像、音频），并即将推出文本到视频功能。用户可以通过网页版或浏览器扩展使用，支持内容生成、总结、翻译、英语学习等功能，具有高度可定制的用户体验。

doubao 是由 ByteDance 开发的一款 AI 聊天机器人，具备多模态处理能力，支持文本、图像和音频处理。特别擅长生成包含中文字符的图像，适合制作海报。目前免费供个人使用，但生成的图像不可用于商业用途。doubao 还提供情感支持、翻译服务和编程辅助等功能，满足用户多样化需求。

Claude 3.7 Sonnet 是全球首个人工智能混合推理模型，支持标准思考（快速响应）和扩展思考（高级推理）两种模式。该模型在代码和前端开发方面表现出色，尤其在数学和科学领域有显著提升，并在宝可梦游戏测试中超越先前模型。它适用于多种场景，包括指令遵循、通用推理、多模态处理和代理编码。模型可通过多种平台访问，定价透明，适合企业和个人开发者。

baize 是一个将大模型集成至终端的工具框架，提供一系列方便的交互模式，旨在提高在终端中使用大模型的效率。它支持多种大模型平台和本地部署，允许用户通过简单的命令行操作与大模型进行交互，并支持自动化任务、多模态处理、历史上下文管理等功能。baize 的设计理念是让大模型的使用像普通终端命令一样简单，适合经常使用终端的用户。

Align-Anything 是一个旨在对齐任意模态大型模型（如LLMs、VLMs等）与人类意图和价值观的开源框架。它提供了高度模块化的设计，支持多种对齐算法和模态模型的微调。项目支持文本、图像、音频和视频等多种模态，并提供了相应的处理和对齐方法。用户可以通过该框架轻松定制和优化模型，以适应不同的任务需求。

一个关于长上下文大语言模型（LLM）的综述性研究，涵盖了架构、框架、训练和评估四个方面的内容，旨在提供对该领域的全面理解和未来研究的指导。

Janus Pro AI 是一款超越 OpenAI 的先进统一多模态理解与生成模型，通过优化训练、使用更大数据集和模型扩展，相较于其前身 Janus 在文本到图像生成和多模态能力方面表现出色，适用于学术和商业用途，采用 MIT 许可证。

Perceiver IO是DeepMind的Perceiver IO的非官方PyTorch实现，支持分布式训练，具有通用输入处理能力，适用于图像、文本和音频等多种任务，设计高效，能够处理大规模数据。

SaltAI_Language_Toolkit是ComfyUI平台的增强型语言处理工具，集成了检索增强生成（RAG）工具Llama-Index、微软AutoGen和LlaVA-Next，旨在提升平台的功能和用户体验，提供更高效的语言处理能力。

transformers_zamba2是一个为自然语言处理打造的先进工具库，提供数千个预训练模型，支持文本分类、问答、翻译等多种语言任务，让NLP技术更易用。该库不仅可以处理文本数据，还支持视觉和音频模态，适用于多种应用场景。

Infini-Megrez是全球首个端侧全模态理解模型，能够同时处理图像、音频和文本数据，具备强大的多模态理解能力。该模型以其高精度、高速度和简单易用性为核心价值，支持场景理解、OCR、中英文语音输入及多轮对话等功能，适用于多种复杂场景下的数据理解和分析。

本项目基于Meta发布的可商用大模型Llama-2开发，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用了大规模中文数据进行增量预训练，进一步提升了中文基础语义和指令理解能力，相比一代相关模型获得了显著性能提升。相关模型支持4K上下文并可通过NTK方法最高扩展至18K+。

Jlama是一个纯Java实现的大规模语言模型推理引擎，支持多种模型格式，能够提供高性能和低内存占用，易于集成到各种应用中。

Takomo是一个无代码的AI构建工具，用户可以通过拖拽和连接预训练的机器学习模型，轻松创建独特的AI应用。它使用户能够在几分钟内生成API，从而简单地将AI功能集成到他们的项目中。