Track-On是一个先进的在线点跟踪模型,基于Transformer技术,专为实时视频点跟踪设计。它支持逐帧处理,确保内存使用效率,特别适合需要实时处理的流媒体应用场景。该模型通过双重内存模块(空间内存和上下文内存)捕获时间信息,并利用补丁分类与优化技术提高跟踪精度。在多个数据集上表现优异,运行速度超过15 FPS,GPU内存使用少于1 GB。
该项目专注于自监督学习在视频对象分割中的应用,由复旦大学、牛津大学和西弗吉尼亚大学的研究人员共同开发。旨在通过自监督学习技术,结合半监督学习方法,提高视频对象分割的准确性,特别是在标注数据有限的情况下,能够在复杂视频场景中实现高质量的分割。项目开源,并在GitHub上提供,供社区使用和贡献。