GenAI Book开源项目 – 生成式AI学习资源与实践

Transformer Explainer是一个交互式可视化工具，旨在让非专家通过GPT-2模型了解Transformer的内部工作原理。用户可以实时输入文本，观察模型如何预测下一个Token，并通过动态可视化帮助理解复杂的Transformer概念。该工具无需安装或特殊硬件，基于浏览器的无缝执行，使得学习现代生成式AI技术变得更加简单和直观。

FraxAI是一个提供生成式AI模型、工具、提示工程技术、资源、指南和教程的平台，支持Stable Diffusion和ChatGPT等技术。用户可以探索各种可用模型和工具，利用提示工程技术创建有效的提示，以生成文本、图像、代码、音频、视频等。同时，平台还提供指南和教程，帮助用户深入了解生成式AI和提示工程。

DeepCompressor是一个专为大型语言模型和扩散模型设计的模型压缩工具箱，支持多种数据类型的假量化，旨在提高模型的推理速度和效率。

展示如何使用 TensorFlow 生态系统从 Transformers 构建视觉模型的机器学习管道，支持完整的 MLOps 流程，集成模型管理和监控功能。

AniTalker是一个开源项目，通过身份解耦的面部动作编码技术，生成生动多样的说话面部动画。它能够从单张图片和音频中生成动态视频，支持生成超过3分钟的超长视频，并且能够匹配表情和头部动作。AniTalker采用通用的运动表示法捕捉复杂面部动态，利用自监督学习策略实现精确的运动描述，并通过扩散模型生成多样且可控的面部动画。项目分为两个阶段，第一阶段聚焦于动作编码器和渲染模块的训练，第二阶段基于diffae和espnet进行扩散训练。AniTalker提供了一个demo，用户可以使用特定的音频输入和图片，生成对应的动画效果，并鼓励社区成员进行进一步的开发和贡献。

PGD-MOO（Preference-Guided Diffusion for Multi-Objective Offline Optimization）是一种通过训练偏好模型引导扩散模型生成帕累托最优且多样化的设计方案的方法，特别适用于多目标离线优化问题。该方法在超体积指标上与传统方法相当或更优，在 ∆-spread 指标上显著优于其他方法，适用于药物发现等高成本、慢反馈的场景。

本项目汇集了2021年AI领域的最新突破性论文，按发行日期排列，提供清晰的视频讲解、深入文章链接及相关代码示例。

书生大模型实战营是一本全面的教程，涵盖了书生浦语大模型的使用、训练及调优技巧，提供了实战案例和代码示例，支持多种应用场景，帮助用户深入理解和应用该模型。

视觉与语言导航领域的精选资源库，汇集了最新的研究论文和代码，帮助研究人员和开发者快速了解和应用该领域的最新进展

ViViD是一个基于扩散模型的视频虚拟试穿技术项目，由中国科学技术大学和阿里巴巴集团联合开发。该项目旨在通过合成视频让消费者看到衣物穿在自己身上的真实效果，解决了传统基于图像的方法在视频中导致的时间不一致性问题。ViViD生成高质量的视频，保留了衣物的细节和质感，并构建了一个高分辨率、种类丰富的数据集，显著提升了模型的表现。项目支持多种服装类型，包括上身、下身和连衣裙，能够生成高分辨率的试穿视频，并具有较快的处理速度，适用于实时或近实时的应用场景。

自校正 LLM 控制的扩散模型，用于自动编辑任何图像或修复生成模型的文本到图像错位，无需额外训练。

BD3-LM（Block Diffusion Language Model）是一种创新的语言模型，旨在通过结合自回归模型和离散扩散模型的优点，显著提升语言建模任务的性能。它通过在token块上执行自回归，并在每个块内进行离散扩散，实现了灵活且高效的建模方式。该模型特别适用于生成任意长度的序列，展现了其在自然语言处理领域的潜力。

TryOffDiff是一种基于扩散模型的技术，能够从服装模特照中提取服装，生成一张干净、标准化的衣服图片，类似于电商网站上的白底服装展示图。该技术保留了衣服的形状、颜色、纹理和细节，用户只需上传一张服装模特照，点击生成即可得到标准化图片。项目基于PyTorch，使用🤗 Diffusers和🤗 Accelerate进行多GPU训练，并采用Stable Diffusion-v1.4和SigLIP作为基础模型和图像编码器。

smalldiffusion 是一个用于训练和采样扩散模型的简单易读的代码库，支持从最简单的玩具模型到最先进的预训练模型的实验。其核心代码只有不到100行，基于PyTorch框架，非常适合快速理解和实验。

IDM-VTON项目旨在通过改进的扩散模型，提升服装试穿的保真度与真实感，生成高质量的虚拟试穿图像，结合高级语义与低级特征，增强视觉效果的真实性，并通过详细的文字提示优化生成结果。

book.fast.ai是为阅读fastai书籍的读者提供的信息平台，包含代码示例、教程以及深度学习从业者的资源。项目定期更新，提供新内容和改进，帮助用户更好地理解和应用深度学习概念。

该项目展示了如何利用扩散模型生成高性能的神经网络参数。通过自动编码器提取潜在表示，并训练扩散模型从随机噪声合成这些表示，从而生成新的网络参数子集。