ViT推理库

vit.cpp是一个使用纯C/C++实现的视觉变换器（ViT）推理库，结合ggml库进行优化，旨在提供高效的图像分类解决方案，易于集成和使用，适用于各种项目和嵌入式系统。

vit.cpp是一个使用纯C/C++实现的视觉变换器（ViT）推理库，结合ggml库进行优化，旨在提供高效的图像分类解决方案，易于集成和使用，适用于各种项目和嵌入式系统。

KTransformers是由清华大学KVCache.AI团队与趋境科技联合开发的开源项目，专注于优化大型语言模型（LLM）的推理性能，特别是在资源受限的环境中高效运行LLM。该项目支持单GPU（24GB显存）或多GPU环境，支持DeepSeek-R1和V3的671B满血版模型，预处理速度最高可达286 tokens/s，推理生成速度最高可达14 tokens/s。KTransformers通过高级内核优化和放置/并行策略，提供高达3至28倍的加速效果，并支持Q4_K_M量化版本，最低仅需14GB显存和382GB内存。

该项目探讨了通过量化、剪枝和蒸馏等手段来降低改造和使用大语言模型（LLM）的成本。

vLLM是一个高吞吐量且内存高效的推理和服务引擎，专为大规模语言模型设计，具备优化的模型加载与推理速度，能够与多种硬件加速器兼容。