MiniCPM开源项目 – 高效端侧大模型

MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，主体语言模型 MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。通过 Int4 量化技术，MiniCPM 实现了在手机端的部署能力，提供与人类说话速度相当的流式输出速度。MiniCPM 在中文、数学和编程能力方面表现优异，超越了 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。此外，基于 MiniCPM-2B 开发的多模态模型 MiniCPM-V 在同规模模型中表现最佳，支持高效参数微调和全参数微调，二次开发成本较低。

MiniCPM的特点:

1. 经过 SFT 后，在公开综合性评测集上整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
2. 经过 DPO 后，在 MTBench 评测集上超越了 Llama2-70B-Chat、Vicuna-33B 等众多代表性开源大模型。
3. 以 MiniCPM-2B 为基础构建的多模态大模型 MiniCPM-V 在同规模模型中实现最佳性能。
4. 经过 Int4 量化后，可在手机上进行部署推理，流式输出速度略高于人类说话速度。
5. 支持高效参数微调和全参数微调，二次开发成本较低。
6. 4B 参数，在自然语言理解、知识、代码、数学等能力上赶超GPT-3.5。
7. 32k上下文窗口，配备 LLMxMapReduce，理论上可以处理无限的上下文，而无需占用大量内存。
8. Function Calling 性能比肩 GPT-4o，端侧最强。
9. 超强 RAG 外挂三件套，中文检索第一、生成超Llama3-8B。

MiniCPM的功能:

1. 在手机上部署 MiniCPM 进行推理和应用。
2. 利用 1080/2080 显卡进行高效参数微调，3090/4090 进行全参数微调。
3. 构建基于 MiniCPM 的多模态应用，使用 MiniCPM-V 进行更复杂的任务。
4. 自然语言理解与生成。
5. 代码解释与生成。
6. 数学问题求解。
7. 长文本处理与分析。
8. 函数调用与执行。
9. RAG（Retrieval-Augmented Generation）应用。

相关导航

TinyCLIP开源项目 – CLIP模型的蒸馏与优化

TinyCLIP通过亲和模仿和权重继承技术，优化CLIP模型的蒸馏过程，提升小型模型在视觉任务中的表现，并支持多模态应用的迁移学习。

Gemini多模态试炼场开源项目 – 构建实时语音与视频代理的工具

Gemini多模态试炼场是一个用于构建实时语音和视频代理的 Python 应用，借助 Google 的新 Gemini 2.0 模型，支持实时语音和视频输入以及音频回应。该应用程序提供两种版本：完整的全栈 web 应用程序和独立的 Python 脚本，方便用户根据需求选择。

MLC-MiniCPM开源项目 – 在安卓上高效运行 MiniCPM

基于 MLC-LLM 开发，将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行，具备优化的内存管理和计算性能，提供用户友好的接口，支持多种语言模型。

MobileVLM开源项目 – 移动设备上的多模态视觉语言模型

MobileVLM是美团和浙江大学等推出的开源多模态视觉语言模型，专为移动设备设计。它结合了基于Transformer的语言模型MobileLLaMA和基于CLIP思想预训练的多模态视觉模型，通过轻量级下采样投影器（LDP）实现语言和视觉的交互与融合。MobileVLM在多个视觉语言任务上表现优异，推理速度快，适合在移动设备上运行。

Falcon 2 11B模型 – 高效多语言大型语言模型

Falcon 2 11B 是由阿联酋技术创新研究所（TII）开发的大型语言模型，拥有110亿参数，经过5.5万亿token的训练。该模型在语言理解和生成方面表现出色，支持多种语言，适合研究和商业用途。其性能优于Meta的Llama 3 8B，与Google的Gemma 7B相当，尤其在Hugging Face的评估工具中表现领先。

Classy-Fire开源项目 – 多类文本分类的预训练方法

Classy-Fire是一个基于Azure OpenAI的LLM API的预训练多类文本分类方法，采用巧妙的参数微调和提示设计，能够高效地处理各种文本分类任务。