Goku开源项目 – 基于流的高质量视频生成模型

Latte是一种新的潜扩散Transformer模型，用于视频生成，能够从输入视频中提取时空token，并通过Transformer块建模潜空间中的视频分布。该模型在多个标准视频生成数据集上取得了最先进的性能，支持文本到视频生成任务，适用于多种复杂的时空视频生成需求。

Cosmos-Predict1是由Nvidia开发的物理AI世界基础模型，能够从文本或视频提示生成世界状态，并通过预测帧合成连续运动。该项目特别适用于自动驾驶和机器人训练领域，提供高效的图像和视频分词器，支持Text2World和Video2World生成。模型参数范围从40亿到150亿，可根据推理需求选择，生成物理感知视频。

Veggie AI是一个创新的平台，用户只需上传角色照片、动作视频，或输入文本提示，即可创建完全可控的视频内容。该工具利用先进的AI技术，简化了视频创作过程，让用户能够轻松实现自己的创意与想法。

Make-Your-Anchor 是一个自动生成具有精确躯干和手部动作的视频的项目，只需一个人的一分钟视频剪辑进行训练。

HunyanVideo 是由腾讯开发的开源视频生成模型，拥有 13 亿参数，是目前最大的开源视频生成模型。它支持从文本描述生成视频，具有超现实画质、高语义一致性、流畅的运动画面和原生镜头转换等特点，适用于广告宣传、创意视频生成等商业场景。用户可以通过 GitHub 和 Hugging Face 访问模型权重、推理代码和算法，并通过腾讯元宝 APP 申请试用，API 也已开放测试。

VGen是由阿里巴巴集团通义实验室开发的开源视频生成代码库，集成了多种先进的视频生成模型，包括I2VGen-XL、VideoComposer、HiGen、TF-T2V、InstructVideo、DreamVideo、VideoLCM等。它能够从文本、图像、运动轨迹等输入生成高质量视频，并支持多种视频生成工具，如可视化、采样、训练、推理、联合训练、加速等。VGen具有高度的扩展性和完整性，适用于多种视频生成任务。

Sora是OpenAI推出的开创性文本到视频模型，旨在弥合文本提示与视频生成之间的鸿沟。它利用先进的AI技术，将用户的文字描述转化为高质量的视频内容，提供了丰富的创作可能性。

AI视频生成网站提供先进的AI模型，包括卫星AI和侧边面板AI，旨在迅速从文本和图像创建高质量视频。这些模型利用尖端技术生成视觉上令人惊叹和逼真的视频内容，使视频创作对广泛用户变得可及。

通义开源的Wan视频生成模型，显存要求超低，仅需8G显存即可运行高质量视频生成。该模型支持文生视频、图生视频、视频编辑、文生图等多种功能，是业界首个双语视频模型，能够同步生成中英字幕。

hunyan video 是腾讯公司于2024年开源的一个重量级视频生成模型，拥有约13亿参数（原介绍为130亿，可能存在拼写错误），是目前最大的开源视频生成模型之一。该模型通过文本或图像生成高质量视频，尤其在图像质量、动态流畅性和语义理解方面表现优异。支持多模态大语言模型作为文本编码器，并采用3D VAE技术进行数据压缩。生成的视频质量可媲美电影级，支持多角度镜头自动切换，尤其对中国风格内容有较强表现力。用户可通过官网或元宝APP在线体验，或通过GitHub下载代码和模型权重自行部署。

Veo 2 是 Google 开发的一种先进的视频生成模型，能够从文本或图像生成高质量视频。它支持自然运动和逼真动画，提供 720p 到 4K 的分辨率，视频长度为 5-8 秒（24 FPS），并可扩展至更长时间。Veo 2 支持 16:9（横屏）和 9:16（竖屏）两种宽高比，具备电影级别的控制功能，如镜头选择、摄像机运动和景深控制。此外，Veo 2 还包含安全功能，如不可见的 SynthID 水印，用于标识 AI 生成内容，降低误导信息和误归因风险。

Wan2.1-quantized是一款专为消费级显卡（如3090/4090）设计的开源视频生成模型，经过优化后，仅需8.19GB显存即可运行，适配几乎所有消费级显卡。它支持多任务处理，包括文本到视频、图片到视频、视频编辑等，并且是首个支持中英文文本生成的视频模型。

DreamMachine AI 视频生成器由 Luma AI 提供支持，利用先进的微调技术，允许用户仅需几次点击即可将想法变为现实。该系统通过直接在视频上训练的高效可扩展变换器模型，确保物理准确性、一致性和富有事件感的镜头，能够从静态快照生成流畅的动态视频，理解物理世界中的互动和物理现象。

SkyReels-V1是昆仑万维开源的中国首个面向AI短剧创作的视频生成模型，基于千万级高质量影视数据进行微调，支持文生视频和图生视频。该模型在生成逼真的面部表情动画、准确反映人类情绪、电影质感等方面表现优异，具有自研的数据清洗与标注管线，支持精准的动作识别与场景理解。

kě huà 1.5 mò xíng 是快手科技旗下 kě lín AI 平台的核心模型，集成图像生成（Ketu 1.5）和视频生成（Keling 1.5）能力，专注于生成高质量亚洲人像静态图片及动态视频。通过自研的 DiT 结构提升计算效率，支持画质增强、语义理解优化，尤其擅长温馨场景如母女互动的创作。平台全球用户超360万，累计生成1亿多张图片和3700万视频。