轻量级多模态大语言模型

Mini-LLaVA是一款轻量级的多模态大语言模型，能够处理图像、文本和视频输入，实现高效且灵活的多模态数据处理。其设计旨在简化多模态应用的开发，提供了简约的实现和灵活的接口，方便用户进行快速开发和实验。

MiniGPT-4是一款结合视觉与语言的大模型，能够基于图片内容生成描述、回答问题，甚至进行推理分析。它在视觉理解和自然语言处理方面表现出色，可识别图像细节、物体关系，并结合上下文提供智能解读。MiniGPT-4是GPT-4的开源版本，提供强大的自然语言处理能力，适用于多种AI应用场景，包括图像描述生成、文本与图像的问答、图像内容分析以及多模态信息检索。

Nexa SDK是一款全面支持ONNX和GGML模型的工具包，具备文本生成、图像生成、视觉-语言模型（VLM）、自动语音识别（ASR）和文本到语音（TTS）功能，提供OpenAI兼容的API服务器，支持JSON模式调用函数和流媒体，配备用户友好的Streamlit UI，方便开发者使用和集成。

PlotChat是一个可以通过上传带有图表和可视化数据的图像，与数据进行对话的工具。用户可以提出问题，PlotChat将根据图像生成数据表，并提供额外的解释。

GalLama是一个专注于本地agentic任务优化的LLM推理API服务后端，提供实验性特性和模型下载功能，能够支持多模型并发运行及负载均衡，旨在提升推理效率和灵活性。

质衡: 通用基础模型在底层视觉上的基准测试，包含中文版【底层视觉问答】和【底层视觉描述】数据集，以及中文提示下的图片质量评价。

Jsonformer 是一个强大的工具，能够将自然语言转换为结构化数据，支持多种数据格式的输出，灵活的模板系统使其能够与大型语言模型（LLMs）兼容，适用于各种场景。

灵活、健壮和高效的Python软件包，用于支持MLOps(机器学习运维)项目，提供多种工作流支持，优化性能，加速模型部署和监控，易于与其他工具集成，同时提供用户友好的API，确保模型和数据集的版本控制。

llama_index是一个高效的半结构化检索工具，专注于多模态数据处理，能够与Gemini Pro Vision无缝集成，提供易于使用的API，适合开发者和研究人员在各种应用场景下进行数据检索和分析。

Toolify.ai是一个利用ChatGPT技术，自动识别和分类收集到的网站是否为AI相关网站的工具，并提供每日自动更新功能。

这是一个综合性列表，涵盖使用大型语言/多模态模型在机器人和强化学习领域的论文，包含论文、代码及相关网站。

该项目是一份多模态大语言模型相关论文和资源的阅读清单，旨在汇集、分类和整理最新的研究成果，帮助研究人员和开发者了解多模态LLM的进展和最佳实践。