TensorRT-LLM开源项目 – 优化大模型推理框架

NVIDIA官方优化的大模型推理框架，在H100显卡上运行Llama3-70B模型达400 tokens/s，较原生PyTorch实现提速8倍，支持INT4量化与动态批处理。

TensorRT-LLM的特点:

1. 算子融合优化：将Attention层计算与内存访问深度绑定，显存带宽利用率达95%
2. 连续批处理：动态合并不同长度请求，GPU利用率提升至92%
3. 多卡扩展：通过Tensor并行技术实现千亿模型多卡部署，线性加速比0.98

TensorRT-LLM的功能:

1. 云服务提供商高并发推理
2. 实时翻译/语音合成等低延迟场景
3. 多模态大模型联合推理

相关导航

Awesome LLM Inference开源项目 – 强大的LLM推理工具集

这是一个关于出色LLM推理的小集合，包含文献、博客和文档以及代码，支持TensorRT-LLM、流式LLM、SmoothQuant、WINT8/4、连续批处理、FlashAttention、PagedAttention等技术。

TensorRT-LLM as OpenAI API on Windows – Windows本地加速推理

这是一个开源项目，旨在Windows操作系统上本地运行基于TensorRT-LLM的推理，从而替代OpenAI的云服务。它提供了加速推理的解决方案，并与使用OpenAI API构建的项目兼容，使得用户可以在本地环境中高效地进行自然语言处理任务。

Self-Consistency-Google通过简单方法改善大模型推理能力

Self-Consistency是Google提出的一种方法，通过对单一模型进行多次采样和结果融合，显著提升大规模语言模型的推理能力和输出结果的可信度。该方法特别适用于大模型，能够生成高质量的训练数据，从而优化模型的训练过程。

DGX Spark官网 – 世界最小AI超算，桌面级开发利器

DGX Spark是NVIDIA于2025年推出的个人AI超级计算机，采用Grace Blackwell架构，体积仅150x150x50.5mm，功耗170瓦。配备GB10 Grace Blackwell Superchip，提供1000 AI TOPS算力（FP4精度）和128GB统一内存，可处理2000亿参数模型推理。预装全套NVIDIA AI软件栈，支持原型设计、微调和边缘AI部署，定价3999美元，面向开发者、研究人员和教育场景。

YOLOV5 GPU optimization sample开源项目 – 优化GPU性能的YOLOv5实现

该项目由NVIDIA AI IOT开发，专注于优化YOLOv5的GPU性能，提升实时目标检测任务的速度和效率。

Cray-LM开源项目 – 开源的LLM训练与推理平台

一个开源的LLM训练与推理一体化平台，让大模型的开发和部署变得简单高效。

F5_TTS_Faster开源项目 – F5-TTS推理加速工具

F5_TTS_Faster是一款专为F5-TTS推理加速设计的工具，通过使用ONNX和Tensorrt-LLM技术，将推理速度从3.2秒大幅降低至0.72秒，提升约4倍。该项目支持NVIDIA GeForce RTX 3090等硬件，兼容性好，并提供详细的安装和使用指南，使用户能够快速上手并部署。