基于 MLC-LLM 开发,将 MiniCPM 和 MiniCPM-V 在 Android 手机端上运行,具备优化的内存管理和计算性能,提供用户友好的接口,支持多种语言模型。
MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型,主体语言模型 MiniCPM-2B 仅有 24亿(2.4B)的非词嵌入参数量。通过 Int4 量化技术,MiniCPM 实现了在手机端的部署能力,提供与人类说话速度相当的流式输出速度。MiniCPM 在中文、数学和编程能力方面表现优异,超越了 Llama2-13B、MPT-30B 和 Falcon-40B 等模型。此外,基于 MiniCPM-2B 开发的多模态模型 MiniCPM-V 在同规模模型中表现最佳,支持高效参数微调和全参数微调,二次开发成本较低。
一个开源工具包,用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter,提供更高级的功能,支持社区贡献与扩展。
TinyZero是一个以不到30美元的成本,利用veRL强化学习训练框架,在qwen2.5模型基础上进行训练的项目,能够复现DeepSeek R1论文中的'Aha moment',并提供完整实验日志和开源代码,方便复现和学习。
DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱,支持多种数据类型的假量化,旨在提高模型的推理速度和效率。
Portal是加载和可视化深度神经网络在图像和视频上的最快方式,基于TypeScript和React构建,并集成了Flask后端,提供高效的深度学习模型操作体验。