Stitching Historical Aerial Photos开源项目 – 处理大规模航拍照片的算法

GeoSpy通过先进的AI驱动的地理空间智能，简化复杂的地理数据处理和可视化，适用于城市规划、环境监测和物流等多个领域。

ArchitectAI是一个创新的平台，利用人工智能技术帮助建筑师、室内设计师和景观设计师在他们的项目中提供自动化解决方案、设计建议和见解，以简化设计过程并增强创意。

fastbook 是一个介绍深度学习和 fastai 库的项目，旨在帮助用户学习和使用 fastai 这个深度学习开源库。项目以 Jupyter Notebooks 形式发布，内容涵盖从基础到高级的深度学习技术，强调实践编码和现实应用，而不是理论概念。它还计划以 MOOC（大规模开放在线课程）形式发布，提供丰富的示例代码和教程。

torchtitan是一个基于PyTorch的大型语言模型（LLM）训练库，专注于简化大规模模型的训练过程。它支持多种并行技术，如FSDP2、Tensor Parallel、Pipeline Parallel和Context Parallel，并提供了详细的文档和调试工具。torchtitan旨在展示PyTorch最新的分布式训练特性，并适用于研究新的并行技术和探索分布式训练中的最佳实践。项目目前处于预发布状态，支持从头开始预训练Llama 3.1 LLM，并提供了丰富的功能模块和灵活的配置选项。

本课程讲述量化基础知识，旨在帮助开发人员压缩模型以便在消费者硬件上运行。

该项目是一个从零开始构建大语言模型的开源教程，不依赖任何外部库，仅使用Python和PyTorch实现。教程详细讲解了从基础到进阶的LLM构建过程，包括模型结构、注意力模块、KV Cache等核心概念，并提供了训练和微调的代码，帮助读者快速上手和实践。

LeRobot 是一个端到端的训练框架，专注于真实世界的机器人技术，通过 PyTorch 提供模型、数据集和工具，旨在降低机器人技术的准入门槛，使研究者和开发者能够更轻松地开发和测试机器人应用。

AI2开源的OLMo语言模型核心构建模块，基于PyTorch实现，提供了完整的模型训练和优化组件，支持多种规模模型(1B-13B)训练，包含flash attention、float8训练等高级特性

这是一个专注于深度学习项目和教程的仓库，提供了各种深度学习技术的实际实现和深入见解。通过全面的教程、神经网络的实际实现、真实场景中的深度学习应用示例、易于理解的代码片段和笔记本，以及支持TensorFlow和PyTorch等流行深度学习框架，帮助用户深入学习和应用深度学习技术。

Epoching-Blog是一个集成了PyTorch、fastai和HuggingFace的自然语言处理实战教程，旨在帮助用户通过实践深入理解深度学习及其在NLP领域的应用。项目提供了丰富的代码示例和详细的教程，适合希望提升NLP技能的学习者。

Zero-to-Wan是一个极简且可高度定制的代码库，专门用于微调Wan视频生成模型。它提供了从数据准备、模型训练到视频生成的完整流程，支持简单特效的微调，助力视频创作。基于PyTorch实现，易于扩展和修改，适合开发者进行自定义修改和扩展。

DeepCTR是一个易于使用、模块化且可扩展的深度学习点击率（CTR）模型库。它提供了简洁的接口，支持多种基于深度学习的CTR模型，并能够与TensorFlow和PyTorch等主流深度学习框架无缝集成。其模块化设计允许用户灵活定制模型，同时其可扩展架构支持新模型和功能的添加，适用于推荐系统中的点击率预测任务。

OpenLLaMA是LLaMA模型的开源复现，基于RedPajama数据集进行训练，采用与LLaMA一致的预处理步骤、超参数设置、模型结构、上下文长度、训练步骤、学习率调度和优化器，旨在提供一个高效且可访问的语言模型。

DeepCTR-PyTorch是一个易于使用、模块化且可扩展的基于深度学习的点击率（CTR）模型库，专为PyTorch设计。它提供了简单易用的接口，支持多种深度学习CTR模型，并且其模块化设计允许用户灵活定制和扩展模型。通过利用PyTorch的高效计算能力，用户可以快速构建、训练和优化CTR模型，并将其集成到更大的机器学习流程中。

MLGB是一个包含50+点击率预估和推荐系统深度模型的、通过TensorFlow和PyTorch撰写的库，旨在提供高效的模型和工具，帮助开发者快速构建和优化推荐系统。

makeMoE 是一个从头开始实现的稀疏专家混合语言模型，基于 PyTorch 框架，采用自回归字符级语言模型架构。该项目灵感来源于 Andrej Karpathy 的 makemore 项目，旨在通过稀疏专家混合架构实现高效的语言模型训练和推理。它涵盖了模型的基本组成、自注意力机制、专家网络、Top-k 路由、噪声 Top-k 路由等核心组件的代码实现，并提供了模型的初始化方法、训练循环以及文本生成示例。makeMoE 不仅适用于研究和学习稀疏专家混合语言模型的实现，还可作为自回归字符级语言模型的参考实现，适用于自然语言处理领域的实验和开发。

建立在HuggingFace模型和PyTorch Fully Sharded Data Parallelism基础上的训练套件，旨在优化吞吐量，简化在资源受限环境中训练中型模型的分布式方案设置工作流程，尤其适用于学术集群。