CRATE开源项目 – 高效稀疏率降低的可解释Transformer

VisionAgent是由LandingAI开发的可扩展视觉AI技术，旨在通过自动化代码生成、模型选择和部署流程，帮助开发者在几分钟内构建视觉功能应用。它支持图像/视频处理任务（如物体检测、图像分类），提供从快速原型开发到生产部署的全流程解决方案，并集成多款开源模型和工具。

一种处理噪声标签的少样本学习方法，旨在提高模型在标签不准确情况下的学习能力。该方法利用少量标记样本进行训练，具备对标签噪声的鲁棒性，适用于图像分类等任务。

Timm是一个开源的计算机视觉库，专注于提供高效且易用的深度学习模型，涵盖了图像分类、目标检测、语义分割等任务，支持多种预训练的模型，广泛应用于各类视觉任务。

Diffusion Policy 是一种利用扩散模型进行视动策略学习的方法，探索了扩散模型在策略学习中的应用。它提出了一种新的训练算法和架构，并在模拟和真实世界实验任务中表现出色，能够实现更高的成功率和更快速、更有效的学习。项目提供了完整的代码、实验数据和Google Colab笔记本，支持用户快速上手和复现实验结果。

Transformers.js 是一个 JavaScript 库，允许用户在浏览器中直接运行预训练的 Transformer 模型，支持自然语言处理、计算机视觉、音频处理和多模态任务。它使用 ONNX Runtime 在浏览器中高效运行模型，并支持将 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX 格式。

Diffusion Model Based Posterior Sampling for Noisy Linear Inverse Problems，该项目利用扩散模型进行后验采样，专门用于处理带有噪声的线性逆问题。

BD3-LM（Block Diffusion Language Model）是一种创新的语言模型，旨在通过结合自回归模型和离散扩散模型的优点，显著提升语言建模任务的性能。它通过在token块上执行自回归，并在每个块内进行离散扩散，实现了灵活且高效的建模方式。该模型特别适用于生成任意长度的序列，展现了其在自然语言处理领域的潜力。

《Hands-On Generative AI with Transformers and Diffusion Models》一书的配套资源库，包含完整的代码示例和练习答案，适合想要系统学习生成式AI的开发者使用。

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

AniTalker是一个开源项目，通过身份解耦的面部动作编码技术，生成生动多样的说话面部动画。它能够从单张图片和音频中生成动态视频，支持生成超过3分钟的超长视频，并且能够匹配表情和头部动作。AniTalker采用通用的运动表示法捕捉复杂面部动态，利用自监督学习策略实现精确的运动描述，并通过扩散模型生成多样且可控的面部动画。项目分为两个阶段，第一阶段聚焦于动作编码器和渲染模块的训练，第二阶段基于diffae和espnet进行扩散训练。AniTalker提供了一个demo，用户可以使用特定的音频输入和图片，生成对应的动画效果，并鼓励社区成员进行进一步的开发和贡献。

DINOv2是Meta AI开发的最先进计算机视觉模型，具有自监督学习功能，无需大量标注数据即可训练。它能够直接从图像中学习特征，适用于图像分类、分割、检索和深度估计等多种任务。DINOv2的预训练版本已上线，与CLIP和OpenCLIP等模型竞争，并在众多任务中表现出色。

Diffusion-Planner是一个创新的自动驾驶规划项目，利用扩散模型进行运动规划。该项目在nuPlan数据集上表现优异，特别是在闭环规划场景中，能够以20Hz的频率实现实时规划。它采用基于变换器的扩散模型架构，支持多模态驾驶行为建模，无需依赖基于规则的细化。项目功能包括未来轨迹生成、分类器引导确保安全性和舒适性，以及灵活的引导组合以适应不同驾驶风格。Diffusion-Planner在复杂交通场景中展现出强大的闭环性能和多样驾驶风格的鲁棒性，适用于实际应用场景。

DirectAI使用户能够快速构建强大的计算机视觉模型，无需编码或训练数据。它利用大型语言模型和零样本学习，根据用户的描述生成适合的模型。

该项目提供了Vision Transformer在Tensorflow中的完整实现，支持多种数据集和任务，易于扩展和修改，并包含详细的使用示例和文档，帮助用户快速上手并深入了解模型的应用与性能。

专为物理AI设计的世界基础模型平台，旨在帮助物理AI开发者更好更快地构建物理AI系统。