AnchorCrafter开源项目 – 基于扩散模型的视频生成系统

InstantID 是一种基于扩散模型的图像生成技术，专注于零次身份保留的个性化图像合成。它允许用户仅用一张面部图像生成多种风格的个性化图像，保持高保真度。项目无需额外模型训练或测试时的微调，可与预训练的文本到图像扩散模型无缝集成。核心组件 IdentityNet 结合面部和地标图像与文本提示，指导图像生成。

CRATE是一个完全数学可解释的白盒Transformer模型，旨在通过统一多种模型架构实现高效的稀疏率降低，已在真实世界数据集ImageNet-1K上取得接近的性能。它整合了Transformer模型、自注意力、扩散模型和降噪技术，并通过展开迭代优化导出深层网络层。

HandDiff是一种利用扩散模型进行3D手势估计的方法，结合图像和点云数据，实现精确的手势识别和追踪。该项目致力于提升虚拟现实和增强现实中的人机交互体验。

AnyText 是一款支持多语言的视觉文本生成与编辑工具，能够用AI生成或编辑图片中的文字，并与图片风格保持一致，尤其支持中文。它基于扩散模型，集成了辅助潜在模块和文本嵌入模块，使用先进的训练技术，提供了大规模多语言文本图像数据集 AnyWord-3M。

ColorPeel是一个利用扩散模型，通过颜色和形状的分离来进行颜色提示学习的项目，旨在提高图像生成的灵活性与质量。

一个创新的药物分子设计AI工具，通过扩散模型学习分子的3D结构、形状、静电特性和药效团的联合分布。

收集了大量关于条件图像合成扩散模型论文的大列表，适用于研究人员和开发者，提供丰富的研究资源和参考资料。

ViViD是一个基于扩散模型的视频虚拟试穿技术项目，由中国科学技术大学和阿里巴巴集团联合开发。该项目旨在通过合成视频让消费者看到衣物穿在自己身上的真实效果，解决了传统基于图像的方法在视频中导致的时间不一致性问题。ViViD生成高质量的视频，保留了衣物的细节和质感，并构建了一个高分辨率、种类丰富的数据集，显著提升了模型的表现。项目支持多种服装类型，包括上身、下身和连衣裙，能够生成高分辨率的试穿视频，并具有较快的处理速度，适用于实时或近实时的应用场景。

DiffMoE是一个基于PyTorch的扩散模型项目，采用动态专家混合（MoE）架构，通过仅激活1倍参数即可超越3倍参数的密集模型。它在ImageNet上表现出色，FID50K分数低至2.30，Inception Score高达88.19，仅需700K训练步。项目主要用于图像生成任务，如类别条件生成和文本到图像生成。其核心创新包括批次级全局令牌池和动态容量预测器，能够根据噪声水平和样本复杂度智能分配计算资源。

RectifiedFlow是一个简单统一的PyTorch代码库，专注于扩散和流模型，提供易于使用的平台用于训练和推理，强调简洁性、灵活性和快速原型设计。

Awesome Diffusion V2V 是一个基于扩散模型的视频编辑技术和基准测试的资源集合。该项目汇集了多种视频编辑的关键技术和方法，旨在推动视频编辑领域的研究与应用。通过提供丰富的资源列表和基准测试代码，帮助研究人员和开发者更好地理解和应用扩散模型在视频编辑中的潜力。

meta-prompts是一种利用扩散模型处理视觉感知任务的方案，通过引入可学习的元提示到预训练的扩散模型中，以提取适合特定感知任务的特征。该方法旨在提高模型在各种视觉任务中的表现，支持丰富的语义信息提取，满足类别识别、深度感知和关键点感知等需求。

Diffusion Policy 是一种利用扩散模型进行视动策略学习的方法，探索了扩散模型在策略学习中的应用。它提出了一种新的训练算法和架构，并在模拟和真实世界实验任务中表现出色，能够实现更高的成功率和更快速、更有效的学习。项目提供了完整的代码、实验数据和Google Colab笔记本，支持用户快速上手和复现实验结果。

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

利用torchao和diffusers优化扩散模型的端到端方案，支持推理和FP8训练，旨在提升模型的性能和效率。