TensorRT优化LLM

OpenAI兼容的API，用于TensorRT LLM triton backend，提供了与langchain集成的功能，支持高效推理和灵活后端配置。

EET是一个针对大型NLP模型的可扩展推理解决方案，旨在提供高性能的推理支持，特别是针对Transformer结构的大模型，同时支持长序列的场景，易于集成和使用。

自主管理、社区驱动的本地 OpenAI 兼容 API，能够在消费级硬件上运行 LLM，且无需 GPU。

为ComfyUI打造的全能推理优化方案，旨在实现通用、灵活且快速的推理加速。它支持多种推理场景，并且通过灵活的配置选项来满足不同用户的需求。该项目的设计目标是提升推理性能，并且能够轻松集成到现有的ComfyUI项目中。

这项工作从表达能力的角度，为仅解码器的 Transformer 提供了 CoT 的强大功能的理论理解，旨在提高大型语言模型在算术和符号推理任务上的表现，特别是那些固有串行的计算问题。

H2O.ai的开源大语言模型GPT项目，旨在创建世界上最好的开源GPT模型，提供强大的自然语言处理能力，支持多种任务，适用于大规模应用。

基于LangChain Python和Next.js构建的生成式UI web应用，提供构建生成式用户界面的模板，支持使用Shadcn构建UI组件，集成了OpenAI API和LangSmith SDK。

一个用于端到端架构和大语言模型（LLM）的项目，旨在简化和优化开发过程。

在任意应用中用一行代码将商业版LLM(GPT 3.5/4)替换为私有模型(Falcon、GPT4ALL等)，旨在提供与OpenAI模型(如GPT 3.5/4)无缝对接的替代方案

一个Python应用开发框架，可以在几分钟内构建类似ChatGPT的用户界面，支持多种元素管理和云部署，适合快速开发和部署聊天机器人及互动应用。

LLM-Engines是一个统一的大规模语言模型推理引擎，支持多种开源模型（如VLLM、SGLang、Together）和商业模型（如OpenAI、Mistral、Claude），通过不同引擎验证推理的准确性，旨在提供高效和灵活的语言处理解决方案。

Kyanite是一个用Rust开发的神经网络推理库，支持CPU和Nvidia GPU，采用模块化设计，能够清晰地分割各个推理阶段，提供高效的内存管理和计算性能。

GPTRPG是一个支持llm的AI代理的简单类似RPG的环境，通过OpenAI API将AI代理植入到游戏角色中，部署多个代理以自主参与在线游戏，提供动态剧情生成和交互式体验。

PromptPortals是一个管理和优化AI提示的平台，用户可以通过API和分析功能，结合用户反馈，轻松创建和管理OpenAI API调用的提示。它为AI应用程序提供了一个简单的中间层接口，帮助开发者提升交互效果。

通过整合DeepSeek R1的先进推理引擎，为Claude提供强大的推理能力，使其能够轻松处理复杂的多步推理任务，同时确保企业级安全性，保护API密钥。

llama.cpp是一个开源的C++实现项目，专门用于运行Facebook的LLaMA语言模型。该项目无外部依赖，基于CPU运行，适合资源受限的环境。它支持跨多个设备的分布式推理，提供高性能的推理能力，并具备灵活的模型配置。llama.cpp还支持多种量化格式，极大降低模型运行所需的内存，并实现了高效的推理算法，能够在普通的CPU上提供快速的响应。

CaptainFunction是一个Python包，能够动态加载函数至OpenAI助手，提供了一种简单而灵活的方式来集成自定义函数，便于用户根据需求扩展助手的功能。

Recipe GPT是一个专为Python程序员设计的综合LangChain课程，帮助用户充分发挥Recipe GPT的潜力，通过一段视频学习如何利用LangChain创建引人入胜的GPT应用程序。