OpenVINO深度学习部署工具集,支持Open Model Zoo预训练模型以及100多种流行格式的开源和公共模型,如Caffe, Tensorflow, MXNet和ONNX。该工具集提供高效的深度学习模型部署工具,优化模型推理性能,广泛应用于计算机视觉、自然语言处理等领域。
LLM-Calc是一款专为量化语言模型设计的内存计算工具,能够实时计算模型的最大适配内存,帮助用户轻松优化模型推理效率。它支持多种量化级别,适配不同硬件配置,界面简洁,操作零门槛。