Cosmos-Transfer1是NVIDIA Cosmos世界基础模型系列中的一员,专注于通过多模态输入生成高度可控的虚拟世界,主要用于机器人和自动驾驶车辆的Sim2Real(从模拟到现实)训练。该模型支持多种输入模式如分割图、深度图、LiDAR扫描等,并具备自适应空间控制和4K视频上采样功能,参数规模为7B,适配80GB H100硬件。
NVIDIA Cosmos 是一个开源平台,旨在模拟和构建物理世界的基礎模型,支持从数据整合到自定义微调的各个开发阶段。它主要用于为机器人和自动驾驶汽车创建逼真的物理环境,帮助开发者加速物理AI系统的开发。平台基于Transformer的自回归和扩散双架构模型,支持视频生成和世界模型开发,训练数据包括90万亿个token,涵盖2000万小时的自动驾驶、机器人和合成环境数据。
ML-Agents是Unity官方开源的一个AI训练工具包,专门用于在3D环境中训练智能体。它支持强化学习、模仿学习等多种机器学习方法,能够在机器人控制任务中显著提升训练效率,较传统方案提升4倍。ML-Agents提供了灵活且可扩展的训练环境,支持多种机器学习框架(如TensorFlow和PyTorch),并集成了可视化工具以分析智能体行为与性能。