Track-On开源项目 – 实时视频点跟踪模型

Track-On是一个基于Transformer架构的在线点跟踪模型，专门为实时视频点跟踪而设计。它能够在逐帧处理视频时保持高效性，适用于直播视频等实时应用场景。通过紧凑的记忆模块，Track-On在保证高实时性的同时，优化了内存使用，提升了整体性能。

Track-On的特点:

1. 实时性高，支持逐帧处理，适用于直播视频
2. 内存高效，通过紧凑的记忆模块优化性能

Track-On的功能:

1. 实时视频点跟踪
2. 直播视频处理
3. 逐帧视频分析

相关导航

SkyReels-V1开源项目 – 以人为中心的电影级视频生成模型

SkyReels-V1是昆仑万维开源的首个以人为中心的视频生成模型，具备电影级画质，支持多种面部表情和自然动作组合。该模型使用好莱坞级影视数据进行训练，具有专业的构图和摄影效果，并采用自研的数据清洗和标注流程。它能够处理多人场景中的空间关系，支持文本生成视频(T2V)和图像生成视频(I2V)，并且支持多GPU推理和用户级GPU部署。

AirLLM开源项目 – 低内存下运行大型语言模型

AirLLM 可以让你的 70B 大型语言模型在单个 4GB GPU 卡上运行推理，或者让 405B Llama3.1 在 8G 的 GPU 卡上运行。

transformer_lexical_shortcuts开源项目 – 提升翻译性能的词汇捷径模型

该项目通过引入词汇捷径机制，旨在拓宽神经机器翻译中的表示瓶颈，从而提升翻译模型的性能。它基于Transformer架构，优化了模型的表示能力，支持多种语言的机器翻译任务，并提供了预训练模型和训练代码，便于复现和扩展。

Segment Anything Model 2 (SAM 2)开源项目 – 图像和视频对象分割的开源AI模型

SAM 2 是 Meta AI 团队开发的开源 AI 模型，专注于图像和视频中的对象分割任务。它是全球首个支持视频实时抠像的 AI 大模型，能够在零样本前提下实现精准的对象分割。Meta 还提供了基于网络的演示体验，并共享了用于构建 SAM 2 的数据集 SA-V，许可为 CC BY 4.0。SAM 2 的设计基于简单的 Transformer 架构，支持实时视频处理，并提供了一个模型在环的数据引擎，通过用户交互改进模型和数据。

All Atom Diffusion Transformers – 统一生成分子与材料的框架

All Atom Diffusion Transformers 是一个统一的框架，用于生成分子和材料，为化学和材料科学领域带来革命性突破。它通过打破领域限制，实现了分子和材料的统一生成，并利用 Transformer 架构进行高效生成。该项目开源代码，促进了研究和创新。

LLMs Interview Questions开源项目 – 系统化准备大语言模型面试

收录了63个大语言模型(LLM)相关的面试问题及答案，针对2024年机器学习和数据科学面试提供系统化的准备资料。此项目涵盖了LLMs的基本原理、Transformer架构、注意力机制的详细讲解，以及预训练与微调的核心知识点，附带详细解答和代码示例，旨在帮助求职者全面掌握相关知识。

HunYuanVideo官网 – 腾讯开源的高质量视频生成模型

HunYuanVideo 是由腾讯开发的开源大型视频生成模型，专注于从文本描述生成高质量视频。该模型拥有13亿参数，是目前最大的开源视频生成模型之一。它采用双流到单流混合模型处理视频和文本标记，基于Transformer架构，具备全注意力机制，支持图像和视频的统一生成。HunYuanVideo 在文本对齐、运动质量和视觉质量方面表现优异，优于其他领先模型。

TabPFN开源项目 – 高效表格数据处理模型

TabPFN 是一款针对表格数据的基础模型，基于 Transformer 架构，专门设计用于处理表格数据中的关系和模式。它通过局部自注意力机制捕获表格数据中的局部相关性，性能优于传统方法，且运行速度显著更快。TabPFN 已成功应用于医疗保健、金融和制造业等领域，用于预测疾病风险、检测欺诈和优化供应链等任务。

HunyanVideo-I2V开源 – 图片生成动态视频的开源模型

腾讯开源的HunyanVideo-I2V是基于HunyanVideo框架开发的图像到视频生成模型，专注于从单张静态图片生成高质量动态视频（如跳舞视频）。它采用Transformer架构和全注意力机制，结合3D VAE技术压缩视频数据，支持通过文本提示指导动作生成。作为目前开源领域最大的视频生成模型之一（130亿参数），其目标是为开发者提供可定制化的视频生成工具，弥合闭源与开源模型的差距。

fairseq-image-captioning开源项目 – 基于Transformer的图像描述工具

fairseq-image-captioning是一个基于Transformer架构的图像自动描述扩展，专为PyTorch/Fairseq框架设计。它支持高效的图像特征提取与文本生成，提供了预训练模型和训练脚本，同时支持用户使用自定义数据集进行训练。该项目可以轻松集成到现有的PyTorch/Fairseq项目中，用于生成图像描述、训练新模型以及进行模型的微调和优化。

The Audio Transformers Course开源项目 – Hugging Face音频Transformer课程资料

该课程提供了基于Transformer架构的音频处理技术，包含丰富的音频数据集和预训练模型，支持多种音频任务如分类、生成和转录，并结合实用示例和代码演示，帮助学习者掌握音频处理的最新技术。

SegFormer开源项目 – 高效图像分割模型

SegFormer是一个基于Transformer架构的深度学习模型，专为图像分割任务设计。它能够在保持高精度的同时显著降低计算负担，适用于从街景到医学图像等多种领域。其轻量化设计使其特别适合在资源有限的设备上运行，同时作为开源项目，支持社区贡献和定制化开发。

ESM开源项目 – 蛋白质生成与表示模型

ESM（EvolutionaryScale Model）是一个先进的生成式语言模型，专为生物蛋白质的研究而设计。它能够预测蛋白质的序列、结构和功能，为生物学领域提供新的可能性。ESM3是ESM家族的旗舰模型，擅长同时对序列、结构和功能进行推理，并支持通过迭代采样生成完整预测。ESM C则是专注于蛋白质表示学习的模型，提供高效的嵌入表示。

Chai-Lab开源项目 – 生物分子结构预测的尖端模型

Chai-Lab 是一个用于生物分子结构预测的多模态基础模型，结合了自然语言处理、计算机视觉和几何深度学习技术。它利用 Transformer 架构和自监督学习，能够在原子级别预测蛋白质、小分子、DNA、RNA 等生物分子的三维结构。项目支持多种输入格式和高级功能，如 MSA 生成、模板使用和约束条件，适用于复杂的生物分子预测任务。

DE-DETRs开源项目 – 数据高效的目标检测

DE-DETRs旨在实现数据高效的目标检测，采用Transformer架构，适用于需要减少数据使用的场景。