ColorPeel开源项目 – 基于颜色提示的图像生成

自校正 LLM 控制的扩散模型，用于自动编辑任何图像或修复生成模型的文本到图像错位，无需额外训练。

扩散模型的极速推理工具，能快速处理复杂的图像生成任务，提升模型运行效率

AnchorCrafter 是一个基于扩散模型的视频生成系统，专注于自动生成具有主播风格的产品宣传视频。通过引入'人-物交互(HOI)'技术，解决了生成过程中物体外观细节捕捉和人-物交互控制的挑战，适用于电商主播带货风格的视频制作。

利用torchao和diffusers优化扩散模型的端到端方案，支持推理和FP8训练，旨在提升模型的性能和效率。

DreamTalk 是一个基于扩散模型的音频驱动表达性头部生成框架，能够生成具有多种说话风格的高质量头部视频。它支持多种输入类型，包括歌曲、多种语言的语音、含噪声音频和领域外的肖像画。该项目旨在通过先进的扩散概率模型，实现精准的唇音同步和生动的表情生成，适用于学术研究和非商业用途。

DreamSampler结合了扩散采样和评分蒸馏技术，旨在实现图像处理中的图像生成与操控。该项目可以通过生成模型实现图像生成，并运用基于评分的技术对现有图像进行操控，提供了强大的图像编辑和生成能力。

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱，支持多种数据类型的假量化，旨在提高模型的推理速度和效率。

ViViD是一个基于扩散模型的视频虚拟试穿技术项目，由中国科学技术大学和阿里巴巴集团联合开发。该项目旨在通过合成视频让消费者看到衣物穿在自己身上的真实效果，解决了传统基于图像的方法在视频中导致的时间不一致性问题。ViViD生成高质量的视频，保留了衣物的细节和质感，并构建了一个高分辨率、种类丰富的数据集，显著提升了模型的表现。项目支持多种服装类型，包括上身、下身和连衣裙，能够生成高分辨率的试穿视频，并具有较快的处理速度，适用于实时或近实时的应用场景。

该研究提出了一种分析理论框架，用于理解扩散模型的学习动力学，揭示了学习过程中存在的幂律谱偏现象。通过分析线性去噪器，该框架解释了为何扩散模型在学习不同方差的数据特征时表现出速度差异，并为改进扩散模型的训练和数据预处理提供了理论指导。研究结果在高斯和图像数据集上得到验证，对理解和优化生成模型训练具有重要意义。

AniTalker是一个开源项目，通过身份解耦的面部动作编码技术，生成生动多样的说话面部动画。它能够从单张图片和音频中生成动态视频，支持生成超过3分钟的超长视频，并且能够匹配表情和头部动作。AniTalker采用通用的运动表示法捕捉复杂面部动态，利用自监督学习策略实现精确的运动描述，并通过扩散模型生成多样且可控的面部动画。项目分为两个阶段，第一阶段聚焦于动作编码器和渲染模块的训练，第二阶段基于diffae和espnet进行扩散训练。AniTalker提供了一个demo，用户可以使用特定的音频输入和图片，生成对应的动画效果，并鼓励社区成员进行进一步的开发和贡献。

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

PGD-MOO（Preference-Guided Diffusion for Multi-Objective Offline Optimization）是一种通过训练偏好模型引导扩散模型生成帕累托最优且多样化的设计方案的方法，特别适用于多目标离线优化问题。该方法在超体积指标上与传统方法相当或更优，在 ∆-spread 指标上显著优于其他方法，适用于药物发现等高成本、慢反馈的场景。

一个创新的药物分子设计AI工具，通过扩散模型学习分子的3D结构、形状、静电特性和药效团的联合分布。

Diffusion Model Based Posterior Sampling for Noisy Linear Inverse Problems，该项目利用扩散模型进行后验采样，专门用于处理带有噪声的线性逆问题。

MindDiffusion是一个基于MindSpore框架的扩散模型集合，支持多种任务，性能优化，包含预训练模型，可快速部署，并提供详细的文档和示例。