所有AI工具AI开发框架AI开源项目AI视频工具

Open-Sora-Plan开源项目 – 复现OpenAI Sora模型的视频生成项目

Open-Sora-Plan 是由北京大学YuanGroup团队与北大-兔展AIGC联合实验室共同发起的项目,旨在复现OpenAI的Sora模型。该项目结合了视频VQ-VAE、Denoising Diffusion Transformer等技...

标签:

AI交流(进群备注:Open-Sora-Plan)

Open-Sora-Plan 是由北京大学YuanGroup团队与北大-兔展AIGC联合实验室共同发起的项目,旨在复现OpenAI的Sora模型。该项目结合了视频VQ-VAE、Denoising Diffusion Transformer等技术,支持可变长宽比、分辨率和持续时间的视频生成。项目还提供了高质量的数据清洗策略、提示精炼器等功能,以增强对联合时空特征的捕获,并应用于创意短片生成、学术研究等领域。

Open-Sora-Plan的特点:

  • 1. 复现OpenAI的Sora模型
  • 2. 结合视频VQ-VAE技术
  • 3. 结合Denoising Diffusion Transformer技术
  • 4. 支持可变长宽比、分辨率和持续时间
  • 5. 更强大、更经济的WFVAE,高效捕获不同频域信息
  • 6. 提示精炼器,优化短文本输入
  • 7. 高质量的数据清洗策略
  • 8. 基于Open-Sora Plan V1.3模型生成创意短片
  • 9. 支持复杂故事情节的构建
  • 10. 动态分辨率和动态持续时间设置

Open-Sora-Plan的功能:

  • 1. 使用WFVAE进行高效的VAE学习
  • 2. 利用提示精炼器处理和优化短文本
  • 3. 应用高质量的数据清洗策略改进数据集
  • 4. 采用DiT进行成本效益高的学习
  • 5. 生成不同长宽比、分辨率和持续时间的视频
  • 6. 使用模型生成独特的AI创意短片
  • 7. 根据用户输入的情节构建故事
  • 8. 探索不同结局的情节发展
  • 9. 应用于游戏、影视等领域的创意创作
  • 10. 用于视频生成模型的复现与研究

相关导航

暂无评论

暂无评论...