xGeMM是一个从零开始实现的加速型单精度矩阵乘法(FP32)项目,专为GPU优化,旨在显著提升矩阵运算的性能。该项目支持多种优化策略,从简单到高级,通过高效利用CUDA技术,实现性能的大幅提升。xGeMM还提供了详细的基准测试,涵盖多种实现方式,帮助用户理解和比较不同矩阵乘法实现方式的性能差异。
这是一个优化版的结构相似性(SSIM)度量工具,专为高性能计算设计,能大幅提升图像质量评估的速度和效率。通过CUDA优化,减少了计算冗余,显著提升了性能,适用于深度学习中的图像质量优化任务。
NVIDIA开发的高性能神经网络库,帮助构建尊重对称性的神经网络模型,提升模型的数据效率。该库通过优化的CUDA内核和全面的API,支持构建高效的等变神经网络,确保与主流深度学习框架的兼容性。
挑战cuBLAS在单精度通用矩阵乘法性能极限的项目,通过优化CUDA代码,实现了在特定GPU架构和矩阵尺寸下超越cuBLAS的计算速度,为高性能计算领域提供了新的可能性。
专门为流化 GPU/CPU 内核开发设计的领域特定语言,让开发者在不牺牲性能的前提下,更高效地开发计算密集型任务。
nvcc4jupyter是一个用于Jupyter Notebook的CUDA C++插件,允许用户方便地在Jupyter环境中编写和执行CUDA C/C++代码,集成CUDA编译器,简化GPU编程与测试流程。
fastllm是一个纯C++开发的全平台大模型加速库,具有无第三方依赖的特性,当前支持国产大模型如ChatGLM-6B和MOSS。该库在单卡上可实现超过10000个token每秒的处理速度,并且能够在安卓设备上流畅运行ChatGLM-6B,同时支持CUDA进行计算加速。