Cosmos开源项目 – 物理AI开发者的世界基础模型平台

专为物理AI设计的世界基础模型平台，旨在帮助物理AI开发者更好更快地构建物理AI系统。
Cosmos的特点:
1. 预训练的基于扩散的世界基础模型，支持基于文本和视频的视觉模拟生成。
2. 预训练的基于自回归的世界基础模型，用于基于视频的视觉模拟生成，可选择性地包括文本提示。
3. 高效有效的视频分词器，用于将视频转换为连续和离散的令牌。
4. 后训练脚本，用于针对不同的物理AI设置调整预训练的世界基础模型。
5. 即将推出的视频策划流程，用于构建自己的视频数据集。
6. 训练脚本，用于构建自己的世界基础模型，支持扩散和自回归模型。

Cosmos的功能:
1. 通过Hugging Face获取多个模型家族，包括不同参数规模的扩散和自回归模型。
2. 在NVIDIA的Nemo框架下进行模型训练和微调。
3. 使用后训练脚本调整模型以适应特定的物理AI需求。
4. 利用视频策划流程构建自定义视频数据集。

相关导航

Llama Stack开源项目 – 集成化的 LLM 应用开发工具

Llama Stack 是一个开源项目，旨在将 LLM 应用构建生成周期的所有组件打包，包括训练、微调、产品评估、观测、Agent & Memory、合成数据生成等，并支持 9+ 提供商。

CRATE开源项目 – 高效稀疏率降低的可解释Transformer

CRATE是一个完全数学可解释的白盒Transformer模型，旨在通过统一多种模型架构实现高效的稀疏率降低，已在真实世界数据集ImageNet-1K上取得接近的性能。它整合了Transformer模型、自注意力、扩散模型和降噪技术，并通过展开迭代优化导出深层网络层。

Human Motion Diffusion Model开源项目 – 基于扩散模型的人体运动生成

《人体运动扩散模型》的论文代码，旨在高效生成和编辑人体运动，支持多种运动风格和动作捕捉数据。

Story-Adapter官网 – 无需训练的长故事可视化框架

Story-Adapter 是一个基于扩散模型的AI框架，专为长故事可视化设计。它通过迭代优化和全球参考交叉注意力模块（GRCA），从文本叙述生成连贯的图像序列，无需额外训练即可处理长达100帧的故事。该框架显著提升了多图像间的语义一致性及细粒度交互质量，解决了传统文本到图像模型在长序列生成中的缺陷传播问题。2024年研究数据显示，其在角色相似度（aCCS）和图像质量（aFID）指标上均优于同类方案。

Chinese Llama 2 7b开源项目 – 国内首个开源的中文LLaMA2模型

这是国内第一个真正的开源、可下载、可运行的 LLaMA2 模型，提供中文版 Llama2模型及中英文 SFT 数据集，兼容适配所有针对原版 llama-2-chat 模型的优化。

OutfitAnyone开源项目 – 阿里巴巴开发的2D虚拟试穿框架

OutfitAnyone是由阿里巴巴开发的基于扩散模型的2D虚拟试穿框架，旨在解决现有虚拟试穿技术在生成高保真、细节一致结果时遇到的挑战。该项目支持任何服装和任何人的虚拟试穿，具有广泛的应用场景，如电商、时尚设计等。项目目前已在ModelScope和Hugging Face上提供体验版本，用户可以通过上传服装图像进行虚拟试穿。

Scaling SentEmb开源项目 – 高效生成高质量句子嵌入

一种上下文学习方法，将基于提示的表示应用于自回归模型，以生成高质量的句子嵌入，无需微调。该方法通过利用上下文信息，避免了传统微调过程的复杂性，同时支持不同规模的语言大模型，能够在多种转移任务上取得最佳结果。

diffusion-rs开源项目 – 极速推理工具

扩散模型的极速推理工具，能快速处理复杂的图像生成任务，提升模型运行效率

meta-prompts开源项目 – 利用元提示优化视觉感知

meta-prompts是一种利用扩散模型处理视觉感知任务的方案，通过引入可学习的元提示到预训练的扩散模型中，以提取适合特定感知任务的特征。该方法旨在提高模型在各种视觉任务中的表现，支持丰富的语义信息提取，满足类别识别、深度感知和关键点感知等需求。

Diffuse to Choose开源项目 – 高效图像修复与虚拟试穿

Diffuse to Choose是一种基于扩散模型的图像条件修复技术，专为虚拟试穿场景设计，能够在快速推理的同时保持高保真细节，并确保语义操作的准确性。该模型通过将参考图像的细粒度特征直接合并到主扩散模型的潜在特征图中，并使用感知损失进一步保留参考项的细节，从而在图像修复和增强方面表现出色。

NVIDIA Cosmos官网 – 物理AI开发平台

NVIDIA Cosmos 是一个开源平台，旨在模拟和构建物理世界的基礎模型，支持从数据整合到自定义微调的各个开发阶段。它主要用于为机器人和自动驾驶汽车创建逼真的物理环境，帮助开发者加速物理AI系统的开发。平台基于Transformer的自回归和扩散双架构模型，支持视频生成和世界模型开发，训练数据包括90万亿个token，涵盖2000万小时的自动驾驶、机器人和合成环境数据。

Inf-DiT开源项目 – 基于扩散模型的图像上采样方法

Inf-DiT 是清华大学与智谱AI联合推出的基于扩散模型的图像上采样方法，能够生成超高分辨率图像。该模型引入了单向块注意力机制(UniBA)，将生成过程中的空间复杂度从 O(N^2)降低到 O(N)，有效解决了传统扩散模型在生成大尺寸图像时内存消耗过高的问题。Inf-DiT 采用扩散变换器(DiT)结构，能够处理各种形状和分辨率的图像上采样任务，并通过全局图像嵌入和邻近低分辨率块的交叉注意力机制等技术，增强图像的局部和全局一致性。实验结果表明，Inf-DiT 在超高分辨率图像生成和超分辨率任务中均达到了 SOTA 性能。