AnyModal是一个基于PyTorch的灵活多模态语言模型框架,支持轻松集成图像、音频等多种输入模态。它提供了模块化的架构设计,便于添加新的输入模态处理器和分词器,并拥有丰富的预训练模型库。AnyModal框架将多种输入模态直接融入大语言模型,适用于多模态数据的复杂任务。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型