LLaMA推理

LLaMA_MPS是一个专门为Apple Silicon GPU优化的项目，旨在高效地运行LLaMA模型的推理过程。该项目充分利用苹果硬件的加速能力，提供简洁的API接口，优化内存管理，确保用户能够快速高效地进行自然语言处理任务。

Keywords AI是一个提供高质量、低成本替代方案的LLM API，用户可以通过注册免费试用API密钥，体验其测试平台和聊天机器人功能。

MLX 是 Apple 芯片上用于机器学习的阵列框架，由 Apple 机器学习研究团队提供。它提供了熟悉的 API 和强大的功能，支持多种计算模式和设备，旨在简化机器学习模型的构建与训练。

MLX RAG是一个简单的示例项目，展示如何在Apple Silicon设备上利用MLX框架进行RAG应用的本地运行。

Kokoro-FastAPI 是一个基于 Docker 的 FastAPI 封装项目，专门用于部署 Kokoro-82M 文本到语音模型。它支持 CPU ONNX 和 NVIDIA GPU PyTorch 加速，提供自动分割和拼接功能，并支持多种语言和音频格式。该项目通过 Docker 实现便捷部署，适用于需要高效、多语言支持的语音合成场景。

Transformers.js是一个桥接Web开发与本机AI大模型能力的库，为Web AI开发者提供了强大的工具和功能。