自定义模型配置

Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。

一个简单的 Python 包，可以更轻松地在非公开或敏感数据以及没有互联网连接的计算机上运行大型语言模型 (LLM)。它支持本地环境，确保数据安全，适用于多种应用场景。

Web LLM 是一个可以在浏览器中直接运行大型语言模型的工具，支持通过 WebGPU 加速。它支持多种大型语言模型，包括 Llama 2 7B/13B、Mistral 7B 和 WizadMath，并能够在设备内存为 64GB 的情况下运行 Llama 2 70B 模型。利用 WebGPU 提供更快、更流畅的模型运行体验，仅需约 6GB 的显存即可运行 Llama 7B 和 Vicuna-7B。

LM Studio 是一个强大的工具，能够让用户在本地发现、下载和运行各种大型语言模型（LLM），用户可以在自己的笔记本电脑上离线使用这些模型，提供了便捷的应用内聊天界面，支持与模型进行交互，同时用户还可以从 HuggingFace 存储库下载兼容的模型文件，并在应用程序主页上发现新的、值得注意的 LLM。

MiniMind 是一个开源 AI 项目，旨在从零开始，以极低的成本和极短的时间训练出超小语言模型。项目涵盖了从数据集清洗到模型训练的全过程，并提供了多种先进的算法和模型结构。通过仅需 3 块钱成本和 2 小时，即可训练出 25.8M 的超小语言模型，最小版本体积是 GPT-3 的 1/7000，适合普通个人 GPU 快速训练。项目还拓展了视觉多模态的 VLM: MiniMind-V，所有核心算法代码均从 0 使用 PyTorch 原生重构，不依赖第三方库提供的抽象接口。这不仅是大语言模型的全阶段开源复现，也是一个入门 LLM 的教程。

LangSmith是一个旨在帮助开发者缩小原型与生产之间差距的平台，专为构建和迭代能够利用大型语言模型(LLMs)的产品而设计，既能发挥其强大能力，又能应对其复杂性。

开源的前端项目，旨在在浏览器中运行大型语言模型（LLM），通过 MLC-LLM 和 WebLLM Chat 实现，支持用户通过简单的界面与模型进行交互，无需复杂的配置或安装

LLMPlus是一个Python包，旨在帮助开发者使用本地的大型语言模型（LLMs）来构建AI应用。它提供了简洁的接口，以便进行提示工程，支持加载LLM模型、嵌入模型和向量数据库的类。通过自定义提示工程和RAG技术，开发者可以轻松创建LLM应用。

vLLM是一个开源的高效语言大模型服务系统，专注于提升推理速度和效率。它通过创新的内存管理和调度技术，优化了键值缓存（KV cache）的动态增缩和碎片化问题，显著提高了吞吐量并降低了延迟。vLLM支持多种语言模型，适用于高吞吐量的深度学习任务和大规模语言模型的部署。其设计简洁，开源社区支持强大，文档友好，特别适合需要高效推理能力的项目。

TensorZero是一个开源基础设施，旨在支持生产级、可扩展和复杂的大型语言模型（LLM）系统。它集成了推理、可观测性、优化和实验功能，支持多步骤LLM系统，并通过ClickHouse数据仓库实现实时、可扩展且开发者友好的分析。

一个可定制、简洁、用户友好且高效的工具包，用于训练和微调大型语言模型，支持多种训练和优化方法，以提高模型性能和稳定性。

Dynamiq是一个专为Agentic AI和大型语言模型应用设计的AI智能协同框架，旨在简化AI应用的开发过程，擅长协调检索增强型生成与大型语言模型代理，同时支持多种AI技术的集成，提供高效的任务调度和资源管理。

智能优化版Llama.cpp：基于原版Llama.cpp的克隆项目，它增加了最先进的量化技术，并针对CPU性能进行了改进，使得在处理大型语言模型时更加高效

PySpur是一个可视化大型语言模型推理路径的图形界面，旨在帮助开发者构建、测试和部署复杂的计算图，从而增强模型的思考能力。

一个Python包，用于存储、检索和动态创建GPT模型的提示。旨在简化管理大型语言模型的过程，使在生产环境中改进语言模型变得更加简单。

Toolhouse是一个云基础设施平台，旨在为大型语言模型（LLMs）提供动作和知识，简化函数调用过程，仅需三行代码即可实现。

该项目旨在使用笔记本电脑在0.76秒内训练神经网络，使其在MNIST数据集上的准确率达到99%。

Llama已然是最领先的开源大模型LLM，下载量接近3.5亿次，需求巨大，适用于各种自然语言处理任务。