Vary是一种新的视觉识别方法,专注于文档级OCR和图表理解。它通过两个阶段生成并整合新的视觉词汇,首先设计词汇网络和小型解码器,通过自回归生成所需词汇,然后通过合并新词汇和原始词汇(CLIP)来扩展原始视觉词汇,使大型视觉语言模型(LVLMs)能够快速获取新特征。Vary在保持原有能力的同时,展现出更出色的细粒度感知和理解能力,尤其擅长识别表格和公式,并具备多模态推理能力。