Vary是一种新的视觉识别方法,专注于文档级OCR和图表理解。它通过两个阶段生成并整合新的视觉词汇,首先设计词汇网络和小型解码器,通过自回归生成所需词汇,然后通过合并新词汇和原始词汇(CLIP)来扩展原始视觉词汇,使大型视觉语言模型(LVLMs)能够快速获取新特征。Vary在保持原有能力的同时,展现出更出色的细粒度感知和理解能力,尤其擅长识别表格和公式,并具备多模态推理能力。
LaTeX-OCR 是一个基于深度学习技术的开源项目,旨在将数学公式的图像转换为 LaTeX 代码。该项目使用 Vision Transformer (ViT) 模型,结合 ResNet 编码器和 Transformer 解码器,能够高效地识别和编辑数学公式,适用于科研、教育等领域。项目提供了多种使用方式,包括命令行工具、图形用户界面、API 和 Python 集成,并支持模型训练和自定义数据集。