低硬件要求

JittorLLMs是一个专为大模型设计的推理库，旨在降低大模型部署的硬件要求，使得即使在没有显卡的普通机器上也能运行大模型。它通过零拷贝技术和元算子自动编译优化，降低模型加载开销并提升计算性能。JittorLLMs支持多种大模型，包括ChatGLM、鹏程盘古、ChatRWKV和LLaMA，未来还将支持更多模型。其核心优势在于能够大幅降低硬件配置要求，减少80%的硬件需求，使得在普通机器上实现大模型的本地部署成为可能。