智能设备语音交互

Moshi是一个实时对话的语音文本基础模型，使用先进的流式神经音频编解码器Mimi，支持双向语音流处理，具有低延迟和高效率的特点。

Kokoro 82M 是一个高质量的 TTS 模型，能够生成极高音频质量的语音，同时模型大小不到 300M，便于部署和使用。该模型在 T4 上能够快速生成语音，并支持通过架构训练其他语言，且只需不到 100 小时的音频数据进行训练。

Speechllect是一个基于AI的解决方案，提供实时的语音转文本和文本转语音功能，利用SenseTheory数学理论分析用户发音的每个单词的意义，从而实现准确且具有上下文意义的转换。

WhisperS2T是一个为Whisper模型优化的语音转文本处理管道，支持多个推理引擎，旨在提供高准确率和灵活配置选项的语音识别解决方案。

WhisperSpeech 是一个强大且易于定制的文本转语音工具，基于 Whisper 的语音转文本技术，能够提供高质量的语音合成，并支持多种语言和口音。该项目是开源的，允许用户自由使用和修改，同时也适用于商业项目。

Buzz是一个可以实时转文字的多语言语音转文字应用，支持处理语音和视频文件，适用于各种场景。

用Rust语言实现的超快文本转语音（TTS）引擎，只需一个命令就能合成高质量语音，支持多种语言，让语音合成变得简单快捷

Diart是一个优化方案的代码实践，构建在pyannote-audio模型之上，旨在实时识别不同的说话人，特别适用于实时音频流（如来自麦克风）的场景。

UnIVAL是一个统一模型，旨在处理图像、视频、音频和文本等多模态任务。它通过任务平衡和多模态课程学习进行有效预训练，展现出在图像和视频文本任务中的优越性能。该模型还支持通过多模态任务训练的权重插值，展示了不同任务之间的协同作用，从而提升整体性能。

音频基础模型：支持多语言音频理解的端侧部署工具，具备极低推理延迟，适用于语音识别、语种识别、语音情感识别和声学事件分类/检测