该项目由NVIDIA AI IOT开发,专注于优化YOLOv5的GPU性能,提升实时目标检测任务的速度和效率。
NVIDIA官方优化的大模型推理框架,在H100显卡上运行Llama3-70B模型达400 tokens/s,较原生PyTorch实现提速8倍,支持INT4量化与动态批处理。
字节跳动提供 DeepSeek R1、OpenAI o1、GPT-4o、Claude 3.5 和 Gemini 1.5等领先大模型