Moshi是一个实时对话的语音文本基础模型,使用先进的流式神经音频编解码器Mimi,支持双向语音流处理,具有低延迟和高效率的特点。
Kokoro 82M 是一个高质量的 TTS 模型,能够生成极高音频质量的语音,同时模型大小不到 300M,便于部署和使用。该模型在 T4 上能够快速生成语音,并支持通过架构训练其他语言,且只需不到 100 小时的音频数据进行训练。
Speechllect是一个基于AI的解决方案,提供实时的语音转文本和文本转语音功能,利用SenseTheory数学理论分析用户发音的每个单词的意义,从而实现准确且具有上下文意义的转换。
WhisperS2T是一个为Whisper模型优化的语音转文本处理管道,支持多个推理引擎,旨在提供高准确率和灵活配置选项的语音识别解决方案。
WhisperSpeech 是一个强大且易于定制的文本转语音工具,基于 Whisper 的语音转文本技术,能够提供高质量的语音合成,并支持多种语言和口音。该项目是开源的,允许用户自由使用和修改,同时也适用于商业项目。
Buzz是一个可以实时转文字的多语言语音转文字应用,支持处理语音和视频文件,适用于各种场景。
用Rust语言实现的超快文本转语音(TTS)引擎,只需一个命令就能合成高质量语音,支持多种语言,让语音合成变得简单快捷
Diart是一个优化方案的代码实践,构建在pyannote-audio模型之上,旨在实时识别不同的说话人,特别适用于实时音频流(如来自麦克风)的场景。
UnIVAL是一个统一模型,旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练,展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值,展示了不同任务之间的协同作用,从而提升整体性能。
音频基础模型:支持多语言音频理解的端侧部署工具,具备极低推理延迟,适用于语音识别、语种识别、语音情感识别和声学事件分类/检测