单图生成多视角高清人像视频

Pippo是Meta Reality Labs推出的图像到视频生成模型，能够从单张照片生成1K分辨率的多视角高清人像视频。该模型基于多视角扩散变换器，预训练了30亿张人像图像，并在2500张工作室捕捉的图像上进行了后训练。Pippo的核心技术包括ControlMLP模块，用于注入像素对齐的条件，以及注意力偏差技术，能在推理时生成比训练时多5倍以上的视角。Pippo还引入了重投影误差，用于评估多视角生成的3D一致性。