Goku是由字节跳动与香港大学联合开发的一款基于Rectified Flow Transformer架构的视频生成模型。它通过精细的数据处理、模型设计和流式生成技术,实现了高质量的图像和视频生成。Goku支持多种生成任务,包括文本到视频、图像到视频和文本到图像生成,尤其在虚拟数字人和广告场景中表现突出。在权威测试VBench中,Goku的文本到视频生成得分达84.85,创下新纪录(SOTA)。
VirtualWife是一个创新的虚拟数字人项目,致力于打造具有AI灵魂的虚拟角色。项目基于ChatGPT实现与用户的自然语言交互,支持在B站进行直播,并允许用户自由更换VRM人物模型。通过自然语言处理和机器学习技术,VirtualWife能够理解和响应用户输入,提供智能化的互动体验。项目支持一键部署、跨平台运行、个性化角色设定、长短期记忆、多模型切换等功能,旨在让虚拟数字人融入人类生活,作为情感导师或心理咨询师,解决用户的情感需求。