Kolmogorov-Arnold Transformer (KAT) – 提升Transformer性能的KAT实现

Kolmogorov-Arnold Transformer (KAT) 是一个基于PyTorch和GPU加速的实现，旨在通过替换传统Transformer中的MLP层为KAN层，从而在大规模训练场景下显著提升模型性能。该项目专为需要高效处理大规模数据的深度学习任务设计，支持与现有PyTorch项目的无缝集成。

功能:

1. 替换传统Transformer中的MLP层为KAN层
2. 显著提高大规模训练场景下的性能
3. 基于PyTorch实现，支持GPU加速

特点:

1. 用于替换Transformer模型中的MLP层
2. 适用于大规模训练场景
3. 可以集成到现有的PyTorch项目中

相关导航

Java AI 训练平台官网 – Java 程序员的 AI 训练一站式解决方案

Java AI 训练平台是为 Java 程序员设计的一个综合解决方案，旨在通过 Java 技术加速 AI 模型的训练和应用开发。平台集成了 Java 版的 Pytorch 训练引擎、AI SDK 和 Web 应用，提供从模型训练到服务部署的一站式服务，特别适合图像数据深度学习和模型训练的场景。平台基于 Java 语言开发，充分利用 Java 的跨平台、高性能和安全性优势，使 AI 模型训练和应用更加高效稳定。用户可以根据实际需求定制 AI 模型，尤其在图像识别分类领域，通过调整参数和选择算法优化性能。平台提供从数据预处理到服务部署的完整流程，大幅降低 AI 应用开发的门槛和成本，且项目开源免费，支持商业使用。

PyTorch开源项目 – 开源深度学习框架

PyTorch是一个开源的深度学习框架，广泛用于计算机视觉和自然语言处理等领域。

leedl-tutorial开源项目 – AI、深度学习必学内容！

这是一本由李宏毅老师和Datawhale团队出品的电子书，整理了李老师的视频教程，涵盖深度学习的理论与实战，提供丰富的学习资源和配套代码，适合各层次的学习者。

Trolo开源项目 – 结合Transformers与YOLO的深度学习框架

一个将Transformers与YOLO及其他单阶段检测器(SSD)结合的深度学习框架，提供高性能推理和便捷的CLI接口。支持D-FINE等先进模型，具备视频流推理、自动分布式训练等特性。适用于需要transformer增强的目标检测任务，提供Python API和Docker部署支持。

Baichuan开源项目 – 多模态AI开发平台

Baichuan是一个开源的多模态AI平台，专为多模态AI开发设计。它提供整合文本、图像等多模态数据的工具，支持高效的模型训练与推理，适用于复杂场景下的智能应用。平台内置多源数据预处理管道，兼容主流深度学习框架，帮助开发者快速构建多模态AI系统。

Robust Video Matting开源项目 – 强大的视频抠图工具

Robust Video Matting (RVM) 是一个基于PyTorch、TensorFlow、TensorFlow.js、ONNX和CoreML的强大视频抠图工具，能够提供高质量的抠图效果，并具备实时处理能力和良好的鲁棒性，适应各种视频条件。

Honeycrisp开源项目 – 为苹果设备优化的深度学习框架

一个专为苹果设备设计的深度学习框架，让深度学习在Apple Silicon上飞速运行。

深度与广度学习框架论文 – 结合宽深模型提升推荐系统性能

深度与广度学习框架（Deep and Wide Learning，简称DWL）是一种结合宽线性模型和深神经网络的框架，旨在提升深度学习模型的准确性和计算效率。该框架特别适用于处理稀疏输入数据，通过协同学习数据内部和数据间的表征，显著改善推荐系统、分类和回归任务的性能。DWL最初由Google研究团队提出，主要用于推荐系统，如YouTube视频推荐，结合了宽线性模型的记忆能力和深神经网络的泛化能力。

JDet开源 – 基于Jittor的遥感目标检测库

JDet是一个基于Jittor框架的开源遥感图像定向目标检测工具库，专注于高效处理和分析空中图像数据。它由清华大学CSCG组维护，支持多种主流检测模型和遥感数据集，提供从训练、测试到结果可视化的完整流程，并通过灵活的配置系统满足研究和开发需求。

Deep-and-Wide Learning (DWL)论文 – 结合高维和低维特征提升模型性能

Deep-and-Wide Learning (DWL) 是一种创新的深度学习框架，通过结合高维和低维特征表示来增强数据驱动模型的精度和效率。它特别适用于训练数据有限的情况，能够显著提高模型的计算效率并减少对大规模训练数据的依赖。DWL 通过双交互通道网络 (D-Net) 实现，整合了贝叶斯降维 (BDR) 的低维特征和传统深度学习的高维特征，适用于多种分类和回归任务。

FasterTransformer开源项目 – 更快的Transformer模型优化工具

FasterTransformer是一个旨在提高Transformer模型速度和效率的工具，支持多种架构如BERT和GPT，提供高性能的推理和训练，且易于集成。它支持FP16和INT8量化技术，能够在NVIDIA GPU上实现高效的模型推理和快速训练，适合在生产环境中部署优化后的模型。

labelGo – YOLOV5 semi-automatic annotation tool – 图形化半自动标注工具

labelGo是一款基于labelImg及YOLOV5的图形化半自动标注工具，旨在通过集成YOLOV5模型，提供高效、便捷的图像标注解决方案。该工具支持多种图像格式的标注，自动生成兼容主流深度学习框架的标注文件，显著减少人工标注的工作量。

Flash Bi-directional Linear Attention开源项目 – 高效的双向线性注意力实现

一个用于非因果建模的双向线性注意力实现项目，通过Triton优化模型性能，特别适合需要高效处理大量数据的AI应用

PNN官网 – 医疗多模态AI处方框架

PNN是首个专注于医疗领域的多模态处方深度学习框架，通过整合结构化（如实验室数据）和非结构化数据（如医学影像、临床笔记），为患者生成个性化治疗方案。在TAVR手术中实现并发症率降低32%，肝脏外伤病例死亡率下降40%以上，并通过知识蒸馏技术提升模型可解释性，帮助医生理解AI决策逻辑。其核心价值在于跨模态数据融合与精准医疗决策支持。