DreamTalk 是一个基于扩散模型的音频驱动表达性头部生成框架,能够生成具有多种说话风格的高质量头部视频。它支持多种输入类型,包括歌曲、多种语言的语音、含噪声音频和领域外的肖像画。该项目旨在通过先进的扩散概率模型,实现精准的唇音同步和生动的表情生成,适用于学术研究和非商业用途。
Sonic是由腾讯与浙江大学团队研发的AI数字人生成工具,核心目标是通过音频驱动生成逼真的人物动画。它无需依赖复杂的视觉信号,仅凭声音即可控制虚拟人的面部表情、唇部动作和头部运动,生成流畅自然的视频。Sonic在口型同步、表情和头部运动方面表现出色,尤其适合长视频生成。