MONAI Vision Language Models开源项目 – 致力于医学应用的视觉语言模型

SKY ENGINE AI 是一个前沿平台，专为数据科学家、AI开发者和研究人员设计，利用合成数据进行视觉AI深度学习。它能够在虚拟环境中生成和训练定制的AI模型，适用于汽车、医疗和国防等需要高保真视觉数据模拟的领域。

Gradio是一个强大的工具，旨在简化机器学习应用的构建和共享，提供用户友好的网络界面，使得任何人都能轻松与机器学习模型互动，无需复杂的编码知识。

Lunit Inc. 是一家利用人工智能开发癌症筛查和治疗先进技术的公司。其AI解决方案能够实现癌症的早期检测和治疗反应预测，最终拯救生命。

olmOCR-mix-0225 是一个专为 OCR（光學字符識別）和文檔理解模型訓練設計的數據集，包含約 250,000 頁 PDF 文件，這些文件通過 gpt-4o-2024-08-06 轉換為純文本，保留了原始數字內容。數據集來源包括網絡爬取的 PDF 和互聯網檔案館的書籍，涵蓋多種類型文檔，如學術論文、宣傳冊和法律文件等，適用於訓練、微調或評估 OCR 文檔處理系統。數據集由 105,504 個唯一文檔和 266,135 頁組成，並提供了詳細的元數據和提取內容，支持多種 OCR 和文檔理解任務。

阿里巴巴云推出的专为聊天应用设计的强大的视觉语言模型，结合了图像和文本输入，能够生成准确的文本和边界框输出，增强了图像描述、问答、定位和文本-图像理解等任务的能力。

NanoLLM 是一个专门为大语言模型(LLM)提供优化本地推理的平台，支持 HuggingFace 风格的 API，具备量化、视觉/语言模型、多模态Agent、语音处理、矢量数据库集成和检索增强生成(RAG)等功能。

localGPT-Vision是一个通过视觉语言模型与文档进行对话的项目，采用了端到端的检索增强生成（RAG）流程，支持本地和专有的视觉语言模型，旨在提高文档交互的效率和准确性。

VILA 是一个开源视觉语言模型 (VLM) 系列，旨在优化效率和准确性，适用于边缘、数据中心和云计算环境。它采用交错图像-文本预训练方法，支持多图像处理，并具有强大的上下文学习能力，能够快速学习新概念。VILA 在视频理解、多图像推理等任务中表现出色，广泛应用于研究和工业领域。

LLaMA-VID 是一种开源的多模态大模型，专门设计用于处理长时间的视频内容，如电影。它通过使用视觉语言模型（Vision Language Models, VLMs）来结合计算机视觉和自然语言处理，从而理解和生成与视频内容相关的文本。LLaMA-VID 通过使用两个标记（Token）来表示每一帧图像或视频：一个上下文标记（Context Token）用于编码整个图像或视频中最相关或最重要的部分，另一个内容标记（Content Token）用于捕捉每一帧图像中具体存在或发生过的事物。这种方法有效地减少了长时间视频中过多无关紧要的信息，并保留了最核心的有意义信息。LLaMA-VID 能够处理单图片、短视频和长视频，并在多个视频榜单上实现了 SOTA（State of the Art）表现。

创新的文档检索系统(V-RAG)，无需传统的文本分块，直接利用视觉语言模型处理PDF文档。

Skywork-R1V 是一个先进的AI模型，通过38B参数实现文本与视觉推理能力的融合。它采用轻量级视觉适配器和三阶段训练方法，支持复杂数学问题解决和医学影像分析等场景。该模型在多个基准测试中表现出色，如MATH-500和MathVista，性能可能与闭源大型模型相当。

ColPali 是一个基于视觉语言模型的文档检索工具，旨在通过图像和文本的结合，提供高效的检索能力。它不再依赖传统的文本提取方法，而是利用具有后期交互机制的微调视觉模型，能够处理复杂文档并显著提升检索效果。该模型体积小且性能优于常规的基于文本和文本图像嵌入的方法，支持多模式索引和检索，适用于各种视觉丰富的文档。

将PDF文档转换为Markdown的智能工具，利用先进的视觉语言模型，能够精准识别并提取文本、表格和公式，保留文档格式和层次结构

Aidoc是一个旨在通过先进的AI影像分析提升放射学效率的工具，帮助放射科医生实时检测和优先处理急性异常，从而加快诊断和治疗决策。

该项目为大语言模型（LLM）和视觉语言模型（VLM）的空间智能研究提供了一个全面的论文清单，涵盖了从2023年到2025年的最新研究成果。项目不仅包括视觉和文本两种空间推理方法，还提供了20多个空间推理数据集和基准，是空间推理领域的重要学术参考资源。

Florence-2-large 是微软开发的一个视觉语言模型，基于序列到序列学习范式，支持多种视觉任务。它通过 FLD-5B 数据集训练，包含 126 百万张图像和 54 亿个全面视觉注释，能够处理复杂的视觉数据，如对象位置、遮罩轮廓和属性，并通过多任务学习实现统一的视觉理解。模型在字幕生成、目标检测、视觉定位、视觉分割和OCR等方面表现良好。

PaLI-3是一个相对更小、更快且更强大的视觉语言模型，其性能表现优于大小为其10倍的类似模型，专注于多模态任务的高效处理。

CognAgent 是一个基于18亿参数的视觉语言模型（VLM），专注于图形用户界面（GUI）的理解和导航。它支持高分辨率图像（1120x1120像素），能够识别文本、图标、按钮等元素，并根据用户指令执行点击、滑动、输入等操作。CognAgent在多个跨模态基准测试和GUI操作数据集上表现出色，支持中文和英文双语交互，并且是一个开源项目。