DeepSeek-VL2开源项目 – 多模态视觉语言模型

MASt3R 是一个专注于在三维空间中实现精确图像匹配的创新项目。它通过结合深度学习技术和三维几何约束，显著提高了图像匹配的准确性和鲁棒性。项目提供了预训练模型和详细的训练流程，支持视觉定位、场景重建等任务。MASt3R 的核心在于其独特的架构设计，能够有效提取图像特征并在三维空间中建立对应关系。

AI文档理解相关文献资源列表，专注于文档人工智能（Document Artificial Intelligence）领域。该项目收集了大量关于文档理解的研究文献和资源，涵盖了文档人工智能的多个子领域，如OCR、文本分析、图像处理等。持续更新，保持与最新研究进展同步，提供了丰富的参考资料和工具链接，适合研究人员、开发者和学生使用。

Simon是一个基于Python的库，支持OCR、数据摄取、语义搜索、抽取式问答、文本推荐和AI聊天等功能。它是开源的（Apache 2.0），并且可以在Postgres实例上运行。

Storywiz是一个先进的AI阅读助手，利用GPT-4的强大功能，帮助用户从故事中高效吸收关键信息，通过生成引人入胜的视觉故事和简明的AI摘要来提升阅读体验。

PaliGemma 2是Google发布的新一代视觉模型，主要在OCR、图像分割和问题回答等方面进行了显著增强。该模型能够更准确地识别图像中的文字，更精细地分割图像中的对象，并更智能地回答与图像内容相关的问题。

Florence-VL是微软开源的多模态模型，具备强大的图像理解能力，能够从不同角度深入理解图片内容并给出准确回复。其核心在于升级的视觉编码器和深度-广度融合(DBFusion)机制，支持多层次、多方面的视觉特征捕获和融合，超越了传统的CLIP式视觉Transformer模型。

Qwen2-VL是由Qwen团队和阿里云开发的多模态大语言模型系列，能够处理时长超过20分钟的视频，同时在文档理解方面表现出显著优势。该模型支持多模态输入，能够处理视频和文本数据，适用于多种应用场景。

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

Honeybear.ai是一款专为处理复杂PDF文件而设计的超级人工智能助手。用户可以与任何PDF进行对话，获得高质量的响应。与其他“聊天PDF”网站相比，Honeybear.ai提供无与伦比的体验和准确性。

Dreamt 是一个支持AI的梦境日记应用，用户可以通过文本或语音记录梦境，获取梦境数据洞察，并将梦境转化为视觉故事图像，注重隐私保护，不收集用户数据。

Sensible Instruct是一个由GPT-4驱动的文档理解工具，旨在简化将非结构化文档转化为结构化数据的过程，适合开发者、数据科学家和业务运营经理等多种用户。

eSearch是一个开源的工具，结合了截屏、OCR、搜索、翻译、贴图、以图搜图和录屏等多种功能，旨在提高用户的工作效率和信息获取能力。

StoryDiffusion专注于长程图像和视频生成，通过一致性自注意力机制生成连贯的图像和视频，创造魔法般的故事。项目支持生成复杂细节的图像和流畅的长视频，并引入语义运动预测器以提高生成的稳定性，适用于多种创意内容生成。

DTLR是一种基于DINO-DETR架构的通用文本行识别方法，支持印刷体（OCR）和手写体（HTR），以及拉丁、中文或密码字符的识别。它通过CNN骨干网络提取多尺度图像特征，并通过变换器编码器层进一步细化这些特征。解码器由一组查询组成，每个查询都与图像特征进行交互，以预测字符的边界框和类别概率。DTLR克服了以往基于检测的方法在HTR中的挑战，包括字符级标注的困难和成本高昂。它通过合成数据预训练、采用transformer检测器以及线级标注微调等技术，提升了手写体识别的效果。

olmOCR-mix-0225 是一个专为 OCR（光學字符識別）和文檔理解模型訓練設計的數據集，包含約 250,000 頁 PDF 文件，這些文件通過 gpt-4o-2024-08-06 轉換為純文本，保留了原始數字內容。數據集來源包括網絡爬取的 PDF 和互聯網檔案館的書籍，涵蓋多種類型文檔，如學術論文、宣傳冊和法律文件等，適用於訓練、微調或評估 OCR 文檔處理系統。數據集由 105,504 個唯一文檔和 266,135 頁組成，並提供了詳細的元數據和提取內容，支持多種 OCR 和文檔理解任務。