LM Studio Python SDK 是一个开发者工具包，用于与大型语言模型（LLMs）进行交互，并利用面向代理的API（如`.act()`）自主执行多步任务。它支持多种功能，包括结构化输出、图像输入、推测解码、文本补全、嵌入、低级别配置（如GPU和上下文长度）以及内存中的模型管理。
基于 OpenAI 的聊天开源框架，旨在实现用户可同时获得多个大模型的并行输出。
API for Open LLMs 是一个为开源大语言模型提供统一后端接口的项目，支持多种开源大模型的调用，旨在简化与大语言模型的交互体验。通过提供类似于 OpenAI 的 API 使用方式，开发者能够更方便地集成和利用大语言模型的能力。
LLM Gateway 是一个用于安全可靠地与 OpenAI 和其他语言模型提供商进行通信的网关，旨在提供高效的接口和管理功能，以支持各种语言处理需求。
LightLLM是一个基于Python的LLM（大型语言模型）推理和服务框架，以其轻量级设计、易于扩展和高速性能而闻名。它利用FasterTransformer、TGI、vLLM和FlashAttention等开源实现的优势，提供比Vllm更快的表现。
Jan 是一个开源的 GPT 替代工具，支持在本地计算机上 100% 离线运行主流开源大语言模型，如 Mistral、Llama、Mixtral 等。它提供了一个高颜值且操作便捷的图形用户界面，用户无需编写代码即可轻松安装、管理和使用这些模型。Jan 兼容 Windows、Mac 和 Linux 系统，并支持多种硬件架构，包括 Nvidia GPU、Apple M 系列、Apple 英特尔、Linux Debian 和 Windows x64。此外，Jan 还支持与外部人工智能服务（如 ChatGPT 或 Google）的连接，并允许用户根据特定需求定制人工智能模型，将其集成到日常工具和应用程序中。
LangChain是一个用于构建基于大型语言模型（LLM）应用的框架，它简化了复杂任务的实现，并支持多种集成和扩展。
InstructScore (SEScore3) 是用于文本生成评估的首个解释性指标，提供全面的评估和诊断报告，帮助识别模型的优缺点，支持多种文本生成任务，并能比较不同模型的输出。
基于 llama.cpp 的用于运行 Alpaca 模型的聊天界面。完全自托管，不需要 API 密钥，适用于4GB内存，可运行在 CPU 上。
