大型视觉语言模型的海量多模态交叉理解基准测试,旨在评估模型在不同领域中的理解与生成能力,支持自动化的可靠度量。
UnIVAL是一个统一模型,旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练,展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值,展示了不同任务之间的协同作用,从而提升整体性能。
该论文评估了许多开源大语言模型在使用ChatGPT数据微调后的效果,认为这些模型虽然表面上看似提升,但在事实性、编码能力和问题解决方面表现不佳,强调了提高基础语言模型性能的重要性。
这是一个具有370亿参数的生成式多模态模型,使用统一的自回归目标在大规模多模态序列上进行训练。
基于微博开源的Rill Flow项目,旨在搭建大模型应用的技术平台,支持多种大模型的集成与管理,提供用户友好的界面用于模型训练和推理,兼容多种数据源与格式,支持分布式计算以提高模型训练效率,并具有丰富的监控与日志功能。
Fine Tune AI 是一个在线平台,旨在通过生成高质量的微调数据来帮助用户优化其人工智能模型。用户可以通过输入提示来获取定制的数据集,从而提高模型在特定任务上的表现。该平台支持多种场景,适合不同领域的应用需求。
Transfusion是一种可以生成文本和图像的训练模型的统一方法,结合了语言建模和扩散的优势。它通过结合下一个Token预测与扩散,在混合模态序列上训练单个Transformer,提供了优于传统方法的扩展性,支持高达7B参数和2T多模态标记。
TemporalBench是一个专门用于评估多模态视频模型在细节时间动态和动作理解能力方面的基准测试工具,包含约10K视频问答对,这些问答对源自2K高质量的人工注释视频字幕。
MagicVideo-V2 是一款先进的视频生成工具,能够根据文本描述生成高分辨率视频,集成了多种高科技功能,实现视频内容的创作与编辑,适用于广告和营销领域。