ViViD开源项目 – 视频虚拟试穿技术

DynamiCrafter是由香港中文大学、腾讯AI实验室和北京大学共同开发的项目，利用视频扩散先验技术将静态图像转换为动画。该项目支持多种主题和风格，如风景、人物、动物、交通工具、雕塑等，并且能够生成高分辨率、动态连贯的视频。DynamiCrafter还提供了生成帧插值和循环视频生成的功能，适用于多种应用场景，如故事讲述视频生成等。

ThinkDiff是一个创新的扩散模型，通过将视觉语言模型与大型语言模型解码器对齐，简化了训练过程，并显著提升了生成图像的质量和多模态上下文推理能力。该项目在CoBSAT基准测试中取得了显著的准确率提升，仅需5小时训练，且仅使用普通图像-文本对进行训练，无需复杂的多模态数据集。

BD3-LM（Block Diffusion Language Model）是一种创新的语言模型，旨在通过结合自回归模型和离散扩散模型的优点，显著提升语言建模任务的性能。它通过在token块上执行自回归，并在每个块内进行离散扩散，实现了灵活且高效的建模方式。该模型特别适用于生成任意长度的序列，展现了其在自然语言处理领域的潜力。

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

Diffuse to Choose是一种基于扩散模型的图像条件修复技术，专为虚拟试穿场景设计，能够在快速推理的同时保持高保真细节，并确保语义操作的准确性。该模型通过将参考图像的细粒度特征直接合并到主扩散模型的潜在特征图中，并使用感知损失进一步保留参考项的细节，从而在图像修复和增强方面表现出色。

扩散模型的极速推理工具，能快速处理复杂的图像生成任务，提升模型运行效率

该研究提出了一种分析理论框架，用于理解扩散模型的学习动力学，揭示了学习过程中存在的幂律谱偏现象。通过分析线性去噪器，该框架解释了为何扩散模型在学习不同方差的数据特征时表现出速度差异，并为改进扩散模型的训练和数据预处理提供了理论指导。研究结果在高斯和图像数据集上得到验证，对理解和优化生成模型训练具有重要意义。

Follow-Your-Emoji 是一个基于扩散模型的框架，用于生成精细可控的表情包动画。它能够根据用户提供的目标关键点序列，将静态表情包或肖像动画化。该项目支持用户自定义表情包中眉毛、嘴巴、眼睛等部位的动态，提供了高度灵活的控制方式，适合创意表达和个性化动画制作。

RectifiedFlow是一个简单统一的PyTorch代码库，专注于扩散和流模型，提供易于使用的平台用于训练和推理，强调简洁性、灵活性和快速原型设计。

DreamTalk 是一个基于扩散模型的音频驱动表达性头部生成框架，能够生成具有多种说话风格的高质量头部视频。它支持多种输入类型，包括歌曲、多种语言的语音、含噪声音频和领域外的肖像画。该项目旨在通过先进的扩散概率模型，实现精准的唇音同步和生动的表情生成，适用于学术研究和非商业用途。

《人体运动扩散模型》的论文代码，旨在高效生成和编辑人体运动，支持多种运动风格和动作捕捉数据。

Awesome Diffusion V2V 是一个基于扩散模型的视频编辑技术和基准测试的资源集合。该项目汇集了多种视频编辑的关键技术和方法，旨在推动视频编辑领域的研究与应用。通过提供丰富的资源列表和基准测试代码，帮助研究人员和开发者更好地理解和应用扩散模型在视频编辑中的潜力。

《Hands-On Generative AI with Transformers and Diffusion Models》一书的配套资源库，包含完整的代码示例和练习答案，适合想要系统学习生成式AI的开发者使用。

DITTO-2是由Adobe和加州大学研究人员联合开发的基于扩散模型的音乐生成模型，旨在提升音乐生成的效率和可控性。它通过模型蒸馏技术和推理时间优化（ITO）显著提高了生成速度和控制精度，支持多种音乐编辑和生成功能，如音乐修复、扩展、强度调整、旋律控制和结构控制等。与传统模型相比，DITTO-2的生成效率提升了10-20倍，训练成本低，仅需在A100 GPU上训练约30小时。

Awesome-Robotics-Diffusion是一个专注于机器人学习领域扩散模型的精选资源库。它汇集了40多篇前沿的学术论文，涵盖了机器人操作、导航、规划等多种任务。该项目提供了丰富的代码和数据资源，旨在助力研究人员和开发者在机器人学习与扩散模型结合方面的研究和开发工作。