AutoGPTQ 是一个基于 GPTQ 算法的大语言模型量化包，旨在帮助开发人员释放大语言模型的全部潜力。它提供了用户友好的 API，支持多种大语言模型的量化，能够在推理中显著提高模型的性能。AutoGPTQ 支持多种量化配置，并且与 Hugging Face 的 Transformers、Optimum 和 PEFT 等库无缝集成，使得 GPTQ 模型的运行和训练更加便捷。
