一个简单的 Python 包，可以更轻松地在非公开或敏感数据以及没有互联网连接的计算机上运行大型语言模型 (LLM)。它支持本地环境，确保数据安全，适用于多种应用场景。
Ollama是一个能创建、运行和共享自包含大型语言模型(LLM)的工具，将模型的权重、配置、提示等打包成自包含的文件，可以在任何地方运行。
TPI-LLM是一款高性能的边缘设备语言模型推理系统，能够在资源有限的设备上运行大型语言模型，保护用户隐私，减少延迟。
mlc-llm 使每个人都能在每个人的设备上本地开发、优化和部署 AI 模型，支持多种 AI 模型架构，并提供模型优化工具和简化的部署过程。
基于 MLX 框架的 Silicon LLM 训练和推理工具包，简化了在 Apple Silicon 上训练和运行大语言模型的过程，旨在为开发者提供高效、易用的工具，以应对资源有限的设备上的大语言模型需求。
llama-node是一个基于Node.js的项目，旨在提供对LLaMA和Alpaca语言模型的支持。该项目允许用户在本地CPU上高效运行这些模型，适合个人计算机使用。它基于llama-rs构建，旨在促进AI技术的民主化，使更多开发者能够轻松访问和使用大语言模型。
STT是一个经过实战验证的深度学习工具包，专注于语音转文本技术，适用于研究和生产环境。
LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。
Query Vary 是一个革命性的工具，旨在支持开发者高效地与大型语言模型（LLMs）合作，提供可靠和高效的提示创建及测试。它的全面测试套件为开发者提供了设计、测试和完善提示所需的工具，确保准确性、减少延迟，并优化成本。该工具不仅释放了开发者的时间，使其能专注于创新和产品开发，还通过内置的安全措施提高了应用程序的安全性和质量。
LaMini-LM是一个对多个迷你大语言模型进行微调的项目，旨在提升模型的性能，其中包括经过微调的GPT-2，其性能可与LLaMa的Alpaca-7B相媲美。
SidekickSpace是一个保护敏感信息免受AI算法侵害的平台，提供客户端遮蔽功能，确保企业和程序员的数据隐私与控制。用户可以使用遮蔽工具将敏感文本替换为占位符，并利用AI生成准确的答案，随后无缝替换回原始内容，以实现有效沟通。
Langtail是一款创新的AI工具，旨在简化AI应用的开发和部署，尤其是大型语言模型（LLM）驱动的应用。它通过提供强大的调试、测试和监控功能，解决了应用开发中常见的不可预测行为问题，能够无缝集成到AI开发工作流中，提高生产力和效率，无论是优化AI提示还是将其部署为API端点。
Epochraft是一个数据加载器库，专注于即时标记化和检查点功能，特别用于流畅训练语言模型(LLM)，旨在提高数据处理的效率和训练过程的灵活性。
MaskMyPrompt是一款旨在帮助用户在使用ChatGPT时保护机密数据的AI工具，它自动将提示中的人名、组织名和地点名替换为虚构的对应名称，从而实现匿名化处理。
基于论文知识复现 Pi（Physical Intelligence）智能视觉行动模型的开源项目，主要功能是模拟人类如何通过视觉和语言理解来指导行动。
旨在增强大型语言模型(LLM)安全性的工具，提供了消毒、检测有害语言、防止数据泄露以及抵抗提示注入攻击等功能，以确保与LLM的交互保持安全。
