AI交流(进群备注:Open-Sora-Plan)

Open-Sora-Plan 是由北京大学YuanGroup团队与北大-兔展AIGC联合实验室共同发起的项目,旨在复现OpenAI的Sora模型。该项目结合了视频VQ-VAE、Denoising Diffusion Transformer等技术,支持可变长宽比、分辨率和持续时间的视频生成。项目还提供了高质量的数据清洗策略、提示精炼器等功能,以增强对联合时空特征的捕获,并应用于创意短片生成、学术研究等领域。
Open-Sora-Plan的特点:
- 1. 复现OpenAI的Sora模型
- 2. 结合视频VQ-VAE技术
- 3. 结合Denoising Diffusion Transformer技术
- 4. 支持可变长宽比、分辨率和持续时间
- 5. 更强大、更经济的WFVAE,高效捕获不同频域信息
- 6. 提示精炼器,优化短文本输入
- 7. 高质量的数据清洗策略
- 8. 基于Open-Sora Plan V1.3模型生成创意短片
- 9. 支持复杂故事情节的构建
- 10. 动态分辨率和动态持续时间设置
Open-Sora-Plan的功能:
- 1. 使用WFVAE进行高效的VAE学习
- 2. 利用提示精炼器处理和优化短文本
- 3. 应用高质量的数据清洗策略改进数据集
- 4. 采用DiT进行成本效益高的学习
- 5. 生成不同长宽比、分辨率和持续时间的视频
- 6. 使用模型生成独特的AI创意短片
- 7. 根据用户输入的情节构建故事
- 8. 探索不同结局的情节发展
- 9. 应用于游戏、影视等领域的创意创作
- 10. 用于视频生成模型的复现与研究
相关导航
暂无评论...