深度学习项目

makeMoE 是一个从头开始实现的稀疏专家混合语言模型，基于 PyTorch 框架，采用自回归字符级语言模型架构。该项目灵感来源于 Andrej Karpathy 的 makemore 项目，旨在通过稀疏专家混合架构实现高效的语言模型训练和推理。它涵盖了模型的基本组成、自注意力机制、专家网络、Top-k 路由、噪声 Top-k 路由等核心组件的代码实现，并提供了模型的初始化方法、训练循环以及文本生成示例。makeMoE 不仅适用于研究和学习稀疏专家混合语言模型的实现，还可作为自回归字符级语言模型的参考实现，适用于自然语言处理领域的实验和开发。

FlowSep是一个基于语言查询的声音分离模型，通过语言描述分离音频中的特定声音，使音频处理变得更加智能。该项目利用Rectified Flow Matching技术，实现从噪声到目标声音的高效生成，并在多个基准测试中超越现有最佳模型。FlowSep提供简单易用的推理代码，支持自定义音频和文本查询，适用于多种音频处理场景。