Open Inference Engines - 语言模型推理引擎比较。该项目旨在通过比较vLLM、TensorRT-LLM、llama.cpp、TGI、LightLLM、Fastgen和ExLlamaV2等多种引擎,帮助用户理解并选择最适合其需求的语言模型推理引擎。