AI交流(进群备注:MnnLlmApp-基于MNN)

MnnLlmApp是一个基于MNN-LLM框架的Android手机应用,支持各类大型语言模型(LLM)在手机上离线运行,能够处理多模态任务,包括文本生成、图像生成和音频转文本等。该应用在安卓平台上具有优秀的CPU性能,预填充速度相较于其他框架大幅提升,支持多种模型,完全在设备本地运行,确保数据隐私和处理效率。
MnnLlmApp的特点:
- 1. 支持多种多模态任务:文本生成文本、图像生成文本、音频转文本、文本生成图像
- 2. 在安卓平台上,CPU性能优秀,预填充速度较llama.cpp提高了8.6倍,较fastllm提升了20.5倍
- 3. 支持多种模型:Qwen、Gemma、Llama(TinyLlama与MobileLLM)、Baichuan、Yi、DeepSeek、InternLM、Phi、ReaderLM、Smolm等
- 4. 完全在设备本地运行
MnnLlmApp的功能:
- 1. 在手机上离线运行大型语言模型
- 2. 生成文本、图像及音频的多模态应用
- 3. 利用高效的CPU性能进行快速的数据处理
相关导航
暂无评论...