AI交流(进群备注:MimicTalk)

MimicTalk 是由浙江大学与字节跳动联合开发的AI项目,旨在填补个性化数字人小模型和单图驱动通用数字人大模型之间的空白。该项目基于NeRF技术,能够在极短的时间内(仅需15分钟)训练出高质量、个性化的3D说话人脸模型。MimicTalk 支持用音频驱动生成特定人物的说话头像,捕捉细微的面部肌肉运动,实现自然表情和口型与语音的高度同步。
MimicTalk的特点:
- 1. 基于NeRF技术,快速生成个性化3D说话人脸
- 2. 仅需单段2分钟视频和15分钟训练即可生成个性化模型
- 3. 支持音频驱动生成特定人物的说话头像
- 4. 捕捉细微的面部肌肉运动,实现自然表情和口型同步
- 5. 提供CLI和Gradio WebUI两种推理方式
MimicTalk的功能:
- 1. 使用CLI进行特定人物视频训练
- 2. 使用Gradio WebUI进行模型训练和推理
- 3. 通过音频和风格视频生成个性化说话头像
- 4. 支持背景图片和姿势视频的输入,增强生成效果
相关导航
暂无评论...