HunyanVideo-I2V开源 – 图片生成动态视频的开源模型

StreamingT2V 是一种自回归方法，用于生成具有平滑过渡的长视频，支持80、240、600、1200帧或更多帧的生成。该方法通过一致的块转换和长期记忆块，确保生成的视频在动态性和连贯性上的高质量表现。

fairseq-image-captioning是一个基于Transformer架构的图像自动描述扩展，专为PyTorch/Fairseq框架设计。它支持高效的图像特征提取与文本生成，提供了预训练模型和训练脚本，同时支持用户使用自定义数据集进行训练。该项目可以轻松集成到现有的PyTorch/Fairseq项目中，用于生成图像描述、训练新模型以及进行模型的微调和优化。

该项目通过引入词汇捷径机制，旨在拓宽神经机器翻译中的表示瓶颈，从而提升翻译模型的性能。它基于Transformer架构，优化了模型的表示能力，支持多种语言的机器翻译任务，并提供了预训练模型和训练代码，便于复现和扩展。

Allegro是一个新的开源视频生成模型，能够支持多种内容的创建，包括人类和动物的特写镜头，以及各种动态场景。该模型可以生成720x1280分辨率、15 FPS的详细6秒视频，并支持使用EMA-VFI技术将帧率提高到30 FPS。Allegro具有175M参数的VideoVAE和2.8B参数的VideoDiT模型，能够在BF16模式下使用9.3 GB的显存，且上下文长度达到79.2k，相当于88帧。

收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。

TabPFN 是一款针对表格数据的基础模型，基于 Transformer 架构，专门设计用于处理表格数据中的关系和模式。它通过局部自注意力机制捕获表格数据中的局部相关性，性能优于传统方法，且运行速度显著更快。TabPFN 已成功应用于医疗保健、金融和制造业等领域，用于预测疾病风险、检测欺诈和优化供应链等任务。

Track-On是一个基于Transformer架构的在线点跟踪模型，专门为实时视频点跟踪而设计。它能够在逐帧处理视频时保持高效性，适用于直播视频等实时应用场景。通过紧凑的记忆模块，Track-On在保证高实时性的同时，优化了内存使用，提升了整体性能。

SAM 2 是 Meta AI 团队开发的开源 AI 模型，专注于图像和视频中的对象分割任务。它是全球首个支持视频实时抠像的 AI 大模型，能够在零样本前提下实现精准的对象分割。Meta 还提供了基于网络的演示体验，并共享了用于构建 SAM 2 的数据集 SA-V，许可为 CC BY 4.0。SAM 2 的设计基于简单的 Transformer 架构，支持实时视频处理，并提供了一个模型在环的数据引擎，通过用户交互改进模型和数据。

SegFormer是一个基于Transformer架构的深度学习模型，专为图像分割任务设计。它能够在保持高精度的同时显著降低计算负担，适用于从街景到医学图像等多种领域。其轻量化设计使其特别适合在资源有限的设备上运行，同时作为开源项目，支持社区贡献和定制化开发。

Vidu 是由生数科技开发的 AI 视频生成平台，专注于将文字和图像转化为高质量的动态视频，同时保持主体一致性。它是国内首个纯自研的 AI 视频生成模型，适用于影视、动漫、广告和社交媒体内容创作等多种场景。Vidu1.5 是其重要升级版本，强调多主体一致性功能，生成速度快至 10 秒，分辨率最高达 1080P。

SkyReels-V1是昆仑万维开源的首个以人为中心的视频生成模型，具备电影级画质，支持多种面部表情和自然动作组合。该模型使用好莱坞级影视数据进行训练，具有专业的构图和摄影效果，并采用自研的数据清洗和标注流程。它能够处理多人场景中的空间关系，支持文本生成视频(T2V)和图像生成视频(I2V)，并且支持多GPU推理和用户级GPU部署。

该课程提供了基于Transformer架构的音频处理技术，包含丰富的音频数据集和预训练模型，支持多种音频任务如分类、生成和转录，并结合实用示例和代码演示，帮助学习者掌握音频处理的最新技术。

Runway Gen2是一个创新的平台，最近新增了图片转视频的功能，用户可以通过简单的上传和生成流程，将静态图像转换为动态视频。该项目的技术支持来自AnimateDiff，并且未来有可能实现更高的清晰度和视频时长，以及潜在的无缝循环播放功能。

Mira (Mini-Sora) 是腾讯 PCG ARC 实验室推出的一个高质量长视频生成项目，旨在迈向类似 Sora 的视频生成技术。

VGen是由阿里巴巴集团通义实验室开发的开源视频生成代码库，集成了多种先进的视频生成模型，包括I2VGen-XL、VideoComposer、HiGen、TF-T2V、InstructVideo、DreamVideo、VideoLCM等。它能够从文本、图像、运动轨迹等输入生成高质量视频，并支持多种视频生成工具，如可视化、采样、训练、推理、联合训练、加速等。VGen具有高度的扩展性和完整性，适用于多种视频生成任务。