FasterTransformer开源项目 – 更快的Transformer模型优化工具

提出 RetNet 作为 LLM 的基础架构，同时实现训练并行性、低成本推理和良好性能。

The Predictor 是一个精简的工具包，专为构建监督学习模型而设计。它包含数据预处理、模型训练、评估和生成预测的专用模块，简化了预测分析解决方案的开发。

OpenCV Zoo是由OpenCV提供的预训练深度学习模型和算法集合，适用于各种计算机视觉任务。该项目包含了多种预训练模型，支持多种深度学习框架，如TensorFlow、PyTorch和ONNX，并提供了易于使用的API，方便将模型集成到应用中。项目开源且社区驱动，定期更新新模型和改进。

PNN是首个专注于医疗领域的多模态处方深度学习框架，通过整合结构化（如实验室数据）和非结构化数据（如医学影像、临床笔记）， 为患者生成个性化治疗方案。在TAVR手术中实现并发症率降低32%，肝脏外伤病例死亡率下降40%以上，并通过知识蒸馏技术提升模型可解释性， 帮助医生理解AI决策逻辑。其核心价值在于跨模态数据融合与精准医疗决策支持。

Magnetron是自制的迷你版PyTorch，从零开始构建，旨在提供一个简单而强大的深度学习框架，适合研究和生产使用。它的设计初衷是帮助用户更好地理解深度学习的基本原理，并在此基础上进行模型的构建与训练。

DeepFace 是一个基于深度学习的轻量级人脸识别和面部属性分析库，专为 Python 设计。它能够高效地进行人脸识别、面部表情分析、年龄、性别、情绪和种族等属性识别。支持多种深度学习模型和常见的人脸数据集，具有出色的识别精度和跨平台兼容性。DeepFace 提供简单的 API 接口，易于集成到现有系统中，非常适合人脸验证系统、智能识别场景以及情感分析等应用的开发。

CrystalNet是一个神经网络软件包，专为晶体建模任务定制模型训练，旨在提升材料科学的研究效率和应用潜力。

Public Prompts是一个由黎巴嫩一位热衷于技术与人工智能的初级医学医生创建的网站，旨在提供由CompVis和Stability AI团队开发的公共工具、知识、模型和提示。该网站支持Stable Diffusion技术，提供各种创意用途的提示、模型和嵌入的集合。用户可以浏览网站，根据可用的提示、模型或嵌入进行选择，探索不同类别，获取所需的创意资源。对于高级用户，网站还提供在本地运行AI和自行训练模型的资源。

TAID（Temporally Adaptive Interpolated Distillation，时间适应插值蒸馏）是一种新型知识蒸馏方法，专为从大型语言模型（LLM）高效转移知识到小型语言模型（SLM）而设计。它通过时间依赖的中间分布动态地在学生和教师分布之间进行插值，解决了由于教师模型和学生模型之间能力差距过大、模式平均和模式崩溃等问题导致的知识转移效率低下问题。研究表明，TAID通过渐进式和自适应的知识转移过程，提升了蒸馏的性能和稳定性，并在指令调整和预训练场景中表现出色。

HeartEcho 是一个集成了聊天室、语料库和炼丹炉的项目，旨在提供一个全面的环境用于实时交流、文本数据研究和模型训练。它支持大模型的增量学习，具备实时数据处理能力，并且提供用户友好的交互界面及可扩展的模块化设计。

MinT 是一个轻量级、可扩展的Transformer库，专为自然语言处理任务而设计，提供易于使用的API，支持多种预训练模型，能够高效地进行模型训练和推理。

無界AI是一个专注于AIGC（AI生成内容）赛道的平台，致力于开发符合中国审美的绘画大模型，并结合区块链技术进行版权保护。平台提供多种AI模型，包括二次元模型、通用模型和色彩模型，支持多种高级设置，用户可以通过选择不同模型生成艺术作品。

Intel Extension for Transformers 是一个开源项目，旨在使客户端 CPU 上的大型语言模型（LLM）微调成为可能，特别是在没有 GPU 的情况下。它支持在 CPU 上进行 QLoRA 微调，适用于笔记本电脑环境，并通过优化的性能提升模型训练效率。该项目与 HuggingFace Transformers 兼容，支持 4 位推理，并利用 Intel 神经压缩器提供丰富的模型压缩技术，如量化、剪枝和蒸馏，显著提高了英特尔平台上的推理效率。此外，它还支持自动化的仅限权重的 INT4 量化流程，兼容多个流行的大语言模型，如 Llama2、Llama 和 GPT-NeoX。

gpt-fast 是一种简约的、仅限 PyTorch 的解码实现，加载了最佳实践：int8/int4 量化、推测解码、张量并行性等，显著提高 LLM 操作系统的性能。

这是一本由李宏毅老师和Datawhale团队出品的电子书，整理了李老师的视频教程，涵盖深度学习的理论与实战，提供丰富的学习资源和配套代码，适合各层次的学习者。

Qwak是一个综合性的AI平台，旨在简化机器学习模型的开发、部署和管理。该平台支持各种规模的AI项目，从通用AI和大型语言模型到经典机器学习，提供统一的环境，使用户能够高效地将想法转化为可扩展的AI应用。无论是初创企业还是大型企业，Qwak都提供必要的工具和基础设施，帮助推动AI项目的进展，避免复杂的集成和基础设施管理带来的麻烦。