SkyReels-V1开源项目 – 首个开源的以人为本的视频生成模型

Cosmos-Predict1是由Nvidia开发的物理AI世界基础模型，能够从文本或视频提示生成世界状态，并通过预测帧合成连续运动。该项目特别适用于自动驾驶和机器人训练领域，提供高效的图像和视频分词器，支持Text2World和Video2World生成。模型参数范围从40亿到150亿，可根据推理需求选择，生成物理感知视频。

VGen是由阿里巴巴集团通义实验室开发的开源视频生成代码库，集成了多种先进的视频生成模型，包括I2VGen-XL、VideoComposer、HiGen、TF-T2V、InstructVideo、DreamVideo、VideoLCM等。它能够从文本、图像、运动轨迹等输入生成高质量视频，并支持多种视频生成工具，如可视化、采样、训练、推理、联合训练、加速等。VGen具有高度的扩展性和完整性，适用于多种视频生成任务。

RealCam-Vid是一个专为生成模型设计的高质量可控视频数据集，旨在助力动态场景与相机运动的统一学习。该数据集结合了动态场景与绝对尺度的相机轨迹，填补了现有数据集的空白。通过提供高精度的相机姿态注释，RealCam-Vid显著提升了模型对真实世界的泛化能力。数据来源广泛，涵盖了10种以上的场景类型，使其成为研究和开发视频生成模型及相机控制算法的理想选择。

kě huà 1.5 mò xíng 是快手科技旗下 kě lín AI 平台的核心模型，集成图像生成（Ketu 1.5）和视频生成（Keling 1.5）能力，专注于生成高质量亚洲人像静态图片及动态视频。通过自研的 DiT 结构提升计算效率，支持画质增强、语义理解优化，尤其擅长温馨场景如母女互动的创作。平台全球用户超360万，累计生成1亿多张图片和3700万视频。

HunyanVideo 是由腾讯开发的开源视频生成模型，拥有 13 亿参数，是目前最大的开源视频生成模型。它支持从文本描述生成视频，具有超现实画质、高语义一致性、流畅的运动画面和原生镜头转换等特点，适用于广告宣传、创意视频生成等商业场景。用户可以通过 GitHub 和 Hugging Face 访问模型权重、推理代码和算法，并通过腾讯元宝 APP 申请试用，API 也已开放测试。

Wan2.1-quantized是一款专为消费级显卡（如3090/4090）设计的开源视频生成模型，经过优化后，仅需8.19GB显存即可运行，适配几乎所有消费级显卡。它支持多任务处理，包括文本到视频、图片到视频、视频编辑等，并且是首个支持中英文文本生成的视频模型。

Latte是一种新的潜扩散Transformer模型，用于视频生成，能够从输入视频中提取时空token，并通过Transformer块建模潜空间中的视频分布。该模型在多个标准视频生成数据集上取得了最先进的性能，支持文本到视频生成任务，适用于多种复杂的时空视频生成需求。

通义开源的Wan视频生成模型，显存要求超低，仅需8G显存即可运行高质量视频生成。该模型支持文生视频、图生视频、视频编辑、文生图等多种功能，是业界首个双语视频模型，能够同步生成中英字幕。

Veo 2是谷歌DeepMind开发的最先进视频生成模型，能够根据文本、图像或视频提示生成高质量、逼真的视频。它支持高达4K分辨率，提供多种电影和视觉风格，特别适合广告、营销、娱乐和教育等领域。Veo 2具有增强的真实性和保真度，支持复杂的摄影指令，并能模拟真实世界的物理和人类动作。此外，它与谷歌云平台Vertex AI集成，便于开发者使用。

Veo 2 是 Google 开发的一种先进的视频生成模型，能够从文本或图像生成高质量视频。它支持自然运动和逼真动画，提供 720p 到 4K 的分辨率，视频长度为 5-8 秒（24 FPS），并可扩展至更长时间。Veo 2 支持 16:9（横屏）和 9:16（竖屏）两种宽高比，具备电影级别的控制功能，如镜头选择、摄像机运动和景深控制。此外，Veo 2 还包含安全功能，如不可见的 SynthID 水印，用于标识 AI 生成内容，降低误导信息和误归因风险。

hunyan video 是腾讯公司于2024年开源的一个重量级视频生成模型，拥有约13亿参数（原介绍为130亿，可能存在拼写错误），是目前最大的开源视频生成模型之一。该模型通过文本或图像生成高质量视频，尤其在图像质量、动态流畅性和语义理解方面表现优异。支持多模态大语言模型作为文本编码器，并采用3D VAE技术进行数据压缩。生成的视频质量可媲美电影级，支持多角度镜头自动切换，尤其对中国风格内容有较强表现力。用户可通过官网或元宝APP在线体验，或通过GitHub下载代码和模型权重自行部署。

HunYuanVideo 是由腾讯开发的开源大型视频生成模型，专注于从文本描述生成高质量视频。该模型拥有13亿参数，是目前最大的开源视频生成模型之一。它采用双流到单流混合模型处理视频和文本标记，基于Transformer架构，具备全注意力机制，支持图像和视频的统一生成。HunYuanVideo 在文本对齐、运动质量和视觉质量方面表现优异，优于其他领先模型。

Allegro是一个新的开源视频生成模型，能够支持多种内容的创建，包括人类和动物的特写镜头，以及各种动态场景。该模型可以生成720x1280分辨率、15 FPS的详细6秒视频，并支持使用EMA-VFI技术将帧率提高到30 FPS。Allegro具有175M参数的VideoVAE和2.8B参数的VideoDiT模型，能够在BF16模式下使用9.3 GB的显存，且上下文长度达到79.2k，相当于88帧。

Goku是由字节跳动与香港大学联合开发的一款基于Rectified Flow Transformer架构的视频生成模型。它通过精细的数据处理、模型设计和流式生成技术，实现了高质量的图像和视频生成。Goku支持多种生成任务，包括文本到视频、图像到视频和文本到图像生成，尤其在虚拟数字人和广告场景中表现突出。在权威测试VBench中，Goku的文本到视频生成得分达84.85，创下新纪录（SOTA）。

VideoTuna是一个集成了多种视频生成模型的代码库，支持从文本到视频、图像到视频的生成，并提供了预训练、连续训练、对齐和微调等完整的视频生成流程。它支持多种视频生成模型，如CogVideoX、Open-Sora、VideoCrafter等，能够处理不同分辨率的生成任务。此外，VideoTuna还提供了丰富的后处理功能，如视频到视频的后处理和增强模块，并计划推出3D视频VAE和可控面部视频生成模型，进一步扩展应用场景。