ONNXRuntime是一个开源的跨平台模型推理引擎,为开发者提供高效运行机器学习模型的工具。它支持多种硬件和操作系统,能够无缝部署大模型到桌面、移动端或云端。
llm-export是一款能够将llm模型导出为onnx和mnn格式的工具,支持多种llm模型架构,提供简单易用的命令行接口,方便用户进行模型推理和移动设备部署。