Aphrodite是PygmalionAI开发的大规模推理引擎，旨在高效处理各种AI模型的推理任务，支持多种模型格式并具备灵活的API设计，能够与其他机器学习框架无缝集成。

Kyanite是一个用Rust开发的神经网络推理库，支持CPU和Nvidia GPU，采用模块化设计，能够清晰地分割各个推理阶段，提供高效的内存管理和计算性能。

FauxPilot 是一个尝试构建本地托管版本的 GitHub Copilot，旨在为开发者提供智能代码补全功能，支持多种编程语言，并允许用户自定义模型和配置，以便更好地集成到常见的代码编辑器中。

检索增强大语言模型指南，旨在提供有关如何构建和使用检索增强的语言模型的全面信息和工具。

min-LLM是一个轻量级的框架，旨在通过最小化代码来简化大语言模型（LLM）的训练过程。它提供了一个高效的训练流程，支持快速原型开发，并且易于集成和扩展，适合研究人员和开发者使用。

gpt-engineer app 使用简单的自然语言来构建可交互的网络应用程序，用户只需输入要求，AI便能自动生成并部署网站，极大地简化了开发流程。

AutoGen UI是一个支持使用多个代理来开发大型语言模型（LLM）应用的框架。这些代理能够相互对话，以协同解决复杂任务，极大地简化了LLM应用的开发流程，同时具有强大的可扩展性和用户友好的Web界面。

一个开源工具包，用于预训练、微调和部署大型语言模型(LLMs)和多模态大语言模型。该工具包基于LLaMA-Adapter，提供更高级的功能，支持社区贡献与扩展。

LLaMA-Factory 是一个易于使用的 WebUI 框架，旨在高效微调 100 多种大语言模型（LLM）。它支持多种模型和训练方法，包括 LLaMA、Mistral、Qwen 等，并集成了多种微调方法如 LoRA、QLoRA、PPO、DPO 等。LLaMA-Factory 提供了高级算法如 GaLore、BAdam、DoRA、LongLoRA 等，以及实用技巧如 flashattention、RoPE 缩放等，以优化微调效果。此外，它还支持实验管理工具如 LlamaBoard、TensorBoard、Wandb，以及高效的推理接口如 Gradio UI 和 OpenAI 风格的 API。

Abel是一个专注于数学领域的生成式AI模型，旨在在代数和分析领域取得突破性成就，通过最新的SOTA技术为用户提供高效的数学问题解决方案。

Huggingface Diffusers的OneFlow移植版，比PyTorch版性能更高，支持多种扩散模型，易于集成与使用。

AI-RecommenderSystem项目旨在整理和实现推荐系统领域的一些经典算法模型，提供多种推荐算法的实现，支持个性化推荐，并具备良好的可扩展性，方便用户添加新算法。同时，该系统还提供数据集的处理和分析工具，配备用户友好的接口，方便用户使用。

GPT-Code-Clippy是一个开源的代码自动补全工具，基于GPT-3模型，为开发者提供智能代码建议与示例，支持多种编程语言，并可无缝集成到开发环境中，旨在提升编程效率和代码质量。

一个Mamba的最小化实现。Mamba是CMU和普林斯顿的研究成功。这种SSM架构在语言建模上与Transformers不相上下，而且还能线性扩展，同时具有5倍的推理吞吐量。

用 LangChain + FastApi 部署自动化LLM应用，以便将 LangChain 应用作为 API 提供服务

CodeShell 是由北京大学软件工程国家工程研究中心与四川天府银行 AI 实验室联合开源的 70 亿参数的代码大模型，号称同等规模最强代码基座。它基于 5000 亿 Tokens 进行了冷启动训练，具备 8192 的上下文窗口长度，融合了 StarCoder 和 Llama 的核心特性，支持中英文和代码的平衡且高效的编解码，并在 HumanEval 和 MBPP 代码评估基准中表现优异。该模型还支持 Flash Attention2 加速，训练吞吐量高达每 GPU 每秒 3400 Token，同时提供 IDE 插件，兼容 VSCode 和 IntelliJ IDEA。

Infinity是一个高吞吐、低延迟的REST API，专为向量嵌入服务而设计，支持多种sentence-transformer模型和灵活的框架兼容性，旨在提升机器学习和自然语言处理任务的效率和性能。

Poozle 正在构建票务 SaaS 工具的集成基础设施，提供一个 API，使公司能够同时集成多个工具，如 Github、Jira、Notion、Zendesk、Salesforce 等。支持大型语言模型（LLM）的集成，提供可扩展的API接口，灵活的插件系统，用户友好的界面，以及强大的社区支持和文档。

LLM4SE是一个专为软件工程设计的大型语言模型，能够理解和生成多种编程语言的代码，自动化代码审查与重构，智能化错误检测与调试，并能自动生成项目文档。同时，LLM4SE可以与多种开发工具和环境集成，提升开发效率。

ControlNeXt 是一种可控视频和图像生成方法，支持多种形式的控制信息，参数减少高达90%，实现更快的收敛速度和出色的生成效率。该项目提供了与 ControlNet 相比更高效的训练方式，并能够与其他 LoRA 技术无缝集成。

Open WebUI 是一个专为语言模型（LLMs）设计的可扩展且功能丰富的Web用户界面，支持多种LLM运行器，包括Ollama、OpenAI兼容API、Gemini、Groq、Claude等。它提供直观的用户界面和响应式设计，支持多模型切换、多模态互动、本地RAG集成、Markdown和LaTeX支持等功能，适用于家庭NAS、软路由环境、企业知识库问答系统搭建等多种场景。

AgentLabs是一个开源的通用AI智能体前端，允许用户通过实时双向流SDK来控制他们的AI智能体，提供友好的用户界面和多种后端集成选项。

whisper-cpp-python是whisper.cpp的Python绑定，提供高效的语音识别功能，支持多种音频格式，具有简单易用的API和多线程处理能力。

一个开源实验平台，用于改进基于LLM的应用的功能。通过捕捉输入/输出、添加属性、结合用户反馈和识别，提升生产中的LLM功能。

Augmenty是一个基于spaCy的文本增强库，用于丰富文本数据，提升NLP模型的性能。它支持多种文本增强技术，易于集成和自定义，适合多种NLP任务。

NLUX是一个为任意大型语言模型（LLM）提供用户界面支持的JavaScript库，兼容LangChain、HuggingFace和Vercel AI，适用于React、Next.js及纯JavaScript项目，旨在提升用户与AI的交互体验。

DevOpsGenius 旨在结合 LLM 重塑软件开发中的 DevOps 实践。将 LLM 视为团队的初级 “打杂工”，为团队提供各类辅助能力，以提高开发流程的效率和质量。

《Hands-On Generative AI with Transformers and Diffusion Models》一书的配套资源库，包含完整的代码示例和练习答案，适合想要系统学习生成式AI的开发者使用。

llmchain是一个基于Rust语言开发的项目，旨在简化与大型语言模型的交互，支持现代数据变换，灵活构建AI服务，灵感来源于LangChain。

Langchain-Chatchat是一个基于Langchain和ChatGLM等大语言模型的本地知识库问答应用，旨在实现离线运行并支持中文场景，提供灵活的知识库问答解决方案。