mmE5开源项目 – 提升多模态多语言嵌入性能的创新项目

R1-Onevision是一个基于Qwen-VL架构的视觉模型，具有强大的推理能力，模型大小为7B。它能够处理复杂的视觉推理任务，适用于图像理解和分析，同时支持多模态学习任务。

SciBench旨在评估语言模型在复杂科学问题解决中的推理能力。通过开放和封闭数据集的深入基准测试，研究发现当前的语言模型在整体性能方面表现不佳，仅得到35.80%的分数。

DeepSeek V3是由中国AI公司深度求索发布的一款高效开源AI模型，采用专家混组（MoE）架构，仅激活部分参数以减少算力需求，显著降低内存需求。模型规模达到671B参数，激活37B参数，推理成本低，性能接近甚至在某些领域超越GPT-4。在编程、数学等领域表现优异，支持多种部署方式，适用于自然语言处理、文档分析、对话系统等场景。

这是一个专注于提升大型语言模型（LLM）推理能力的资源库，涵盖了与LLM后训练相关的最新论文、代码实现、基准测试和资源。项目旨在帮助研究人员、开发者和爱好者深入理解如何通过后训练方法（如微调、强化学习等）增强LLM的推理、规划、决策和泛化能力。此外，它还提供了模型对齐、可扩展适应和推理时优化等新兴方向的研究资源。

Awesome_Multimodal是一个精心策划的GitHub项目，提供关于多模态大语言模型（MLLM）的全面资源集合。

TAG-Bench是一个用于回答数据库上的自然语言问题的项目，通过Table-Augmented Generation（TAG）模型，探索语言模型与数据库之间的广泛交互，提供首个基准测试研究TAG问题，并验证标准方法在此类查询上的挑战性。

E.T. Bench旨在实现开放事件级的视频语言理解，结合视频和语言数据，推动多模态学习的进展。

HAL Harness是一个标准化的AI Agent评估框架与排行榜，旨在让AI代理的评估变得简单、可重复且高效。它支持多种基准测试，涵盖SWE-bench、USACO等，并可以在本地或云端运行，支持并行化以大幅提升效率。此外，HAL Harness无缝集成Weave，自动记录和跟踪成本与使用情况，为AI代理的评估和比较提供了全面的解决方案。

OmniAlign-V是一个专为多模态大语言模型（MLLMs）设计的项目，旨在通过提供高质量的数据集和优化方法，提升模型在符合人类偏好方面的对齐能力。项目包含20.5万高质量图像问答对，以及专为DPO优化的负样本数据集，帮助模型更好地学习和对齐。此外，项目还引入了MM-AlignBench基准测试，使用GPT-4o作为裁判，客观评估模型在对齐人类偏好方面的表现。

GAIA（General AI Assistants benchmark）是一个由Meta AI、HuggingFace和AutoGPT团队推出的基准测试，旨在评估AI代理系统的工具使用能力和自主性。它包含466个复杂现实世界问题，分为三个难度级别，这些问题对人类来说简单，但对当前AI技术来说具有挑战性。GAIA的哲学是，通用人工智能（AGI）的出现依赖于系统在这些问题上表现出与普通人类相似的稳健性。

RoboManipBaselines是一个集成了多种模仿学习方法和基准任务环境的软件，旨在为机器人操控提供基准和支持，提升学习效率与准确性。

一份精心收集机器人领域相关的3D视觉论文合集，包括政策学习、预训练、VLM和LLM、数据集和基准等相关论文、代码和相关网站。

MegaLoc是一款专为各种定位任务设计的强大图像检索模型，能够在海量图像中精准找到目标，是视觉定位任务的利器。

Awesome Diffusion V2V 是一个基于扩散模型的视频编辑技术和基准测试的资源集合。该项目汇集了多种视频编辑的关键技术和方法，旨在推动视频编辑领域的研究与应用。通过提供丰富的资源列表和基准测试代码，帮助研究人员和开发者更好地理解和应用扩散模型在视频编辑中的潜力。

一个社区驱动的LLM数据和基准测试资源库，提供大量语言模型的详细信息，包括模型参数、上下文窗口大小、许可证详情、性能指标等数据。通过llm-stats.com网站可以交互式探索和比较不同的语言模型。