IPEX-LLM 是一个专为在 Intel Xeon 和 Arc GPU 系统上运行大型语言模型（如 DeepSeek-R1-671B-Q4_K_M）而设计的项目。它支持多种模型格式和量化技术，提供便携式部署方案，并优化性能以充分利用硬件资源。此外，IPEX-LLM 还支持多语言文档，包括中文，帮助用户快速上手和解决问题。
DeepSeek是一个用纯C++实现的深度学习推理引擎，专为低配CPU设备优化，支持多种数据精度，包括F8E5M2、FP16、FP32等。它具有小巧的体积和高效的性能，支持在多卡系统上运行，适合资源受限的环境。
