mllm-mmrotate开源 – 空中目标检测的多模态语言模型基准

VIMA是一款连接了机械臂的语言模型（LLM），能够接收多模态的指令，支持文字、图片、视频等输入形式。该系统能够逐步感知环境并采取实际动作，支持多模式提示，使任务描述简单灵活，统一多种任务，如视觉目标达到、视频演示模仿、学习新概念和满足安全限制。作为一个开源项目，VIMA提供了代码、预训练模型、数据集和物理模拟基准，无需付费或填写表格，便于用户使用和开发。

Qwen2.5-VL是一款功能强大的多模态语言模型，擅长视觉-语言任务，具备增强的文档解析、物体定位和视频理解能力。

GPT-4 是 OpenAI 开发的最新大型语言模型，能够处理图像和文本输入，生成文本输出。相较于前代 GPT-3.5，在安全性、事实准确性和内容生成方面有显著提升。它在各种专业和学术基准测试中表现出人类水平的表现，例如通过模拟律师考试成绩在顶尖 10% 左右。GPT-4 通过强化学习从人类反馈中进行调整，以提高事实准确性和遵循用户指令的能力。

GPT-4o 是 OpenAI 于 2024 年 5 月发布的最新大型语言模型，具备多模态能力，能够处理文本、图像和音频。它比前代模型 GPT4-Turbo 更快、更便宜，并在多语言和视觉任务中表现出色。GPT-4o 支持实时语音交互和代码生成，适用于广泛的应用程序开发和个人使用场景。

面向低级视觉的扩散模型相关论文资源列表，包括了各种扩散模型在低级别视觉任务中的应用，如自然图像恢复、超分辨率、修复、去雾、低光增强等。这些模型在不同领域，包括医学图像分析、遥感图像处理等方面都有应用。

WALDO是一款基于YOLO-v8大模型和合成数据训练的AI检测模型，专为无人机领域的低空可识别目标检测而设计。它能够在高空和低空图像中高效检测多种目标，如轻型车辆、人员、建筑物、公用设施杆、船只、自行车、集装箱、卡车、储气罐、挖掘机、太阳能电池板、巴士等。该模型已成功应用于灾害评估中的失踪人员搜索、野生动物保护区中的入侵监测、停车场和交通流量管理中的人数和车辆计数、建筑工地和基础设施的远程监控等场景。

一个用Rust语言编写的极简语言模型（LLM）推理工具，能够在没有机器学习库的情况下，在CPU上进行完整的语言模型推理，支持多种大型语言模型并具备多模态功能。

Aleph Alpha是一个前沿的AI平台，旨在改变企业和政府与人工智能的互动方式，提供符合高标准的合规性、透明性和安全性的先进大型语言模型和生成AI能力。

Ola是一个开源的全能多模态语言模型，旨在打破多模态理解的边界，支持文本、图像、视频和音频的全面理解。它采用渐进式模态对齐策略（PMA），通过三个阶段（文本-图像、语音、视频）逐步扩展模型能力，确保在不同模态间的性能平衡。Ola-7B版本在OpenCompass多模态排行榜上平均得分72.6，排名第一，是参数少于15B的模型中表现最佳的。此外，Ola支持实时流式解码功能，增强文本和语音交互的流畅性，适合需要高级交互体验的场景。

Ferret-UI 是一个多模态大型语言模型，旨在更好地理解移动用户界面。它具有处理和理解用户界面屏幕的能力，特别是在引用、定位和推理方面，能够有效地处理图像和文本信息，并支持从基础到高级的UI任务训练。该模型还具备任意分辨率技术，可以放大细节，并在各种引用和定位任务上表现优异。

GPT-4.5是OpenAI开发的最新大型语言模型，性能显著超越GPT-4，尤其在数学和物理领域的可靠性上有显著提升。微软计划托管该模型并更新其Copilot服务。该模型支持多模态能力，包括文本、图像和文件交互，并提供更自然的对话体验和情感分析能力。

RivetAI是一个旨在简化影视行业前期制作流程的AI驱动平台，提供自动化剧本分解、日程安排和预算估算，帮助编剧、制作人和导演高效创造高质量内容。

Autopilot 是一款利用 GPT 技术的 AI 工具，能够读取代码库，创建上下文，并解决用户请求的任务。它通过自动化代码分析来提升开发人员的生产力，并支持多种编程语言。

在浏览器中构建AI记忆库，一个完全运行在浏览器中的向量数据库引擎，利用IndexedDB和WebAssembly技术，实现文本向量的存储和高效查询，帮助开发者轻松构建搜索系统和推荐引擎。

PromptWizard是微软发布的一个全自动的离散提示优化框架，通过自我演化、自我适应的机制，利用反馈驱动的批评与合成过程，迭代地改进提示指令和上下文示例，生成针对特定任务的人类可读提示。该框架在45个任务中表现出色，即使在训练数据有限、小型LLMs和不同LLM架构的情况下也能实现优越的性能。