torchtitan是一个基于PyTorch的大型语言模型（LLM）训练库，专注于简化大规模模型的训练过程。它支持多种并行技术，如FSDP2、Tensor Parallel、Pipeline Parallel和Context Parallel，并提供了详细的文档和调试工具。torchtitan旨在展示PyTorch最新的分布式训练特性，并适用于研究新的并行技术和探索分布式训练中的最佳实践。项目目前处于预发布状态，支持从头开始预训练Llama 3.1 LLM，并提供了丰富的功能模块和灵活的配置选项。
这是一个基于PyTorch的实时3D多人姿态估计演示项目。它支持使用OpenVINO后端进行快速的CPU推理，适用于实时应用。项目具有轻量级和高效的特点，能够在视频流中实时检测和估计多人的3D姿态，并提供3D姿态可视化。
gan-manifold-reg是一个结合生成对抗网络（GANs）和流形正则化（Manifold Regularization）技术的半监督学习项目。它旨在通过GANs生成额外的训练数据，并利用流形正则化技术提高模型在半监督学习任务中的性能。该项目基于PyTorch实现，支持自定义数据集和模型架构，适用于图像分类等半监督学习任务，尤其在医学图像分析等需要大量标注数据的领域中表现出色。
OpenVINO Training Extensions是OpenCV的OpenVINO训练扩展，基于PyTorch的神经网络压缩框架（Neural Network Compression Framework, NNCF）。它专注于神经网络模型的压缩和优化，提供多种压缩技术，如量化、剪枝和蒸馏，并与OpenVINO工具套件无缝集成。该工具易于使用和扩展，支持多种深度学习任务，如图像分类、目标检测和语义分割。
translate 是一个基于 PyTorch 的机器翻译库，提供了 Seq2Seq 模型。它依赖于 Facebook 的 FairSeq 库，并支持将模型导出到 Caffe2，以满足生产环境中使用 C++ 的需求。该库适用于多种语言的翻译任务，并提供了高效的训练和推理功能。
YOLOAir是一个基于PyTorch的YOLO检测算法组合工具箱，支持多种YOLO算法，包括YOLOv5、YOLOv7、Transformer、YOLOX、YOLOR等。该项目提供了改进的骨干网络、头部、损失函数、IoU、NMS等模块，并基于YOLOv5的原始版本进行扩展和优化。其模块化设计便于组合和定制网络结构，适用于目标检测任务的快速部署和测试。
few-shot是一个基于PyTorch实现的小样本学习机器学习项目仓库。它提供了一个模块化和可扩展的框架，支持多种小样本学习任务，如分类和回归。项目包含预训练模型和数据集，便于快速实验，并提供数据加载、预处理和评估的实用工具。
fastbook 是一个介绍深度学习和 fastai 库的项目，旨在帮助用户学习和使用 fastai 这个深度学习开源库。项目以 Jupyter Notebooks 形式发布，内容涵盖从基础到高级的深度学习技术，强调实践编码和现实应用，而不是理论概念。它还计划以 MOOC（大规模开放在线课程）形式发布，提供丰富的示例代码和教程。
Zero-to-Wan是一个极简且可高度定制的代码库，专门用于微调Wan视频生成模型。它提供了从数据准备、模型训练到视频生成的完整流程，支持简单特效的微调，助力视频创作。基于PyTorch实现，易于扩展和修改，适合开发者进行自定义修改和扩展。
machina是一个基于PyTorch构建的深度强化学习框架，旨在简化和加速深度强化学习算法的研究和开发。它提供了多种深度强化学习算法的支持，并具备高效的并行计算能力。框架采用模块化设计，便于扩展和定制，同时提供了丰富的文档和示例代码，帮助用户快速上手和深入理解强化学习原理。
DeepCTR-PyTorch是一个易于使用、模块化且可扩展的基于深度学习的点击率（CTR）模型库，专为PyTorch设计。它提供了简单易用的接口，支持多种深度学习CTR模型，并且其模块化设计允许用户灵活定制和扩展模型。通过利用PyTorch的高效计算能力，用户可以快速构建、训练和优化CTR模型，并将其集成到更大的机器学习流程中。
这是一个专注于深度学习项目和教程的仓库，提供了各种深度学习技术的实际实现和深入见解。通过全面的教程、神经网络的实际实现、真实场景中的深度学习应用示例、易于理解的代码片段和笔记本，以及支持TensorFlow和PyTorch等流行深度学习框架，帮助用户深入学习和应用深度学习技术。
DeepCTR是一个易于使用、模块化且可扩展的深度学习点击率（CTR）模型库。它提供了简洁的接口，支持多种基于深度学习的CTR模型，并能够与TensorFlow和PyTorch等主流深度学习框架无缝集成。其模块化设计允许用户灵活定制模型，同时其可扩展架构支持新模型和功能的添加，适用于推荐系统中的点击率预测任务。
makeMoE 是一个从头开始实现的稀疏专家混合语言模型，基于 PyTorch 框架，采用自回归字符级语言模型架构。该项目灵感来源于 Andrej Karpathy 的 makemore 项目，旨在通过稀疏专家混合架构实现高效的语言模型训练和推理。它涵盖了模型的基本组成、自注意力机制、专家网络、Top-k 路由、噪声 Top-k 路由等核心组件的代码实现，并提供了模型的初始化方法、训练循环以及文本生成示例。makeMoE 不仅适用于研究和学习稀疏专家混合语言模型的实现，还可作为自回归字符级语言模型的参考实现，适用于自然语言处理领域的实验和开发。
smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。
该项目是一个从零开始构建大语言模型的开源教程，不依赖任何外部库，仅使用Python和PyTorch实现。教程详细讲解了从基础到进阶的LLM构建过程，包括模型结构、注意力模块、KV Cache等核心概念，并提供了训练和微调的代码，帮助读者快速上手和实践。
openpi是一个开源的机器人模型和工具包，旨在实现智能视觉、语言和动作的一体化。它提供多种预训练模型和微调示例，支持多种机器人平台，如ALOHA和DROID。项目具备高参数模型，支持复杂的物理操作任务，适用于家庭自动化、物理智能研究以及复杂操作算法的开发和测试。
hl-gauss-pytorch是一个基于PyTorch实现的高斯直方图损失函数（HL-Gauss），为回归任务提供了全新的视角，能够有效提升模型的性能。
该项目为初学者提供了学习变分自编码器（VAE）、生成对抗网络（GAN）以及条件变分自编码器-生成对抗网络（CVAE-GAN）的最佳起点。项目包含自编码器（AE）、去噪自编码器（DAE）、变分自编码器（VAE）、生成对抗网络（GAN）、条件生成对抗网络（CGAN）、深度卷积生成对抗网络（DCGAN）、WGAN、WGAN-GP、VAE-GAN和CVAE-GAN，所有模型均基于PyTorch框架实现。
Apple Silicon开发环境配置指南，为开发者提供在Apple Silicon芯片上安装和配置PyTorch、TensorFlow和JAX的指导，助力在M1/M2芯片上高效运行机器学习框架
AnyModal是一个基于PyTorch的灵活多模态语言模型框架，支持轻松集成图像、音频等多种输入模态。它提供了模块化的架构设计，便于添加新的输入模态处理器和分词器，并拥有丰富的预训练模型库。AnyModal框架将多种输入模态直接融入大语言模型，适用于多模态数据的复杂任务。
本项目为2024年PyCon会议准备，提供关于现代深度学习基础知识及PyTorch的深入教程材料，旨在帮助参与者掌握深度学习的核心概念和实用技能。
文本相似度（匹配）计算，提供Baseline、训练、推理、指标分析等功能，支持TensorFlow和Pytorch两个版本，适合不同需求的开发者使用。
本课程讲述量化基础知识，旨在帮助开发人员压缩模型以便在消费者硬件上运行。
FlashAttention是一个开源的推理加速工具，专为AI大模型设计，通过优化注意力机制的计算流程，显著提升推理速度，尤其适合需要实时响应的场景。其v2版本比v1快2倍，比标准注意力机制快5-9倍，在A100上达到225 TFLOPs/s的训练速度，并已在大多数LLM库中得到广泛应用。
MLGB是一个包含50+点击率预估和推荐系统深度模型的、通过TensorFlow和PyTorch撰写的库，旨在提供高效的模型和工具，帮助开发者快速构建和优化推荐系统。
以爱丽丝漫游“可微分”仙境为比喻，向读者介绍神经网络领域的入门书，涵盖自动微分优化函数、序列、图、文本和音频处理的设计技术。
基于 PyTorch 的音乐生成和文本到语音（TTS）系统的实现，该系统使用基于 LLaMA 的大型语言模型（LLMs），并支持在单个 RTX 4090 GPU 上少于 10 小时内训练音乐生成模型
PyTorch是一个开源的深度学习框架，广泛用于计算机视觉和自然语言处理等领域。
建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。
