OnPrem.LLM开源项目 – 本地运行大型语言模型的工具

一个简单的 Python 包，可以更轻松地在非公开或敏感数据以及没有互联网连接的计算机上运行大型语言模型 (LLM)。它支持本地环境，确保数据安全，适用于多种应用场景。
OnPrem.LLM的特点:
1. 支持在本地环境中运行大型语言模型
2. 适用于非公开或敏感数据
3. 无须互联网连接
4. 易于使用的 Python 接口
5. 适用于多种应用场景

OnPrem.LLM的功能:
1. 在本地服务器上部署和运行 LLM
2. 处理敏感数据时的文本生成
3. 在没有互联网连接的环境中执行语言模型推理
4. 开发和测试自定义语言模型

相关导航

LMQL官网 – 专为大型语言模型设计的查询语言

LMQL是一种专门为大型语言模型(LLMs)设计的查询语言，结合了自然语言提示和Python的表达能力。它提供了约束、调试、检索和控制流等功能，以便于与LLMs的交互。

Query Vary官网 – 支持开发者高效创建和测试提示的工具

Query Vary 是一个革命性的工具，旨在支持开发者高效地与大型语言模型（LLMs）合作，提供可靠和高效的提示创建及测试。它的全面测试套件为开发者提供了设计、测试和完善提示所需的工具，确保准确性、减少延迟，并优化成本。该工具不仅释放了开发者的时间，使其能专注于创新和产品开发，还通过内置的安全措施提高了应用程序的安全性和质量。

SidekickSpace官网 – 保护敏感信息的AI平台

SidekickSpace是一个保护敏感信息免受AI算法侵害的平台，提供客户端遮蔽功能，确保企业和程序员的数据隐私与控制。用户可以使用遮蔽工具将敏感文本替换为占位符，并利用AI生成准确的答案，随后无缝替换回原始内容，以实现有效沟通。

Langtail官网 – AI应用开发的高效工具

Langtail是一款创新的AI工具，旨在简化AI应用的开发和部署，尤其是大型语言模型（LLM）驱动的应用。它通过提供强大的调试、测试和监控功能，解决了应用开发中常见的不可预测行为问题，能够无缝集成到AI开发工作流中，提高生产力和效率，无论是优化AI提示还是将其部署为API端点。

MaskmyPrompt官网 – 保护用户隐私的AI工具

MaskMyPrompt是一款旨在帮助用户在使用ChatGPT时保护机密数据的AI工具，它自动将提示中的人名、组织名和地点名替换为虚构的对应名称，从而实现匿名化处理。

openai-go开源项目 – Go语言访问OpenAI API的库

OpenAI Go库为用Go语言编写的应用程序提供了方便地访问OpenAI REST API的途径。它提供了一组广泛的类型和方法，用于以面向对象的方式与OpenAI API交互，简化了请求的构建和响应的处理，使开发人员能够专注于应用程序逻辑。该库支持多种OpenAI模型和功能，如文本生成、图像生成、翻译和对话，并提供了功能选项模式、分页、错误处理等特性。

讯飞星火桌面应用官网 – 强大的AI客户端

讯飞星火桌面应用是科大讯飞推出的一款与星火大模型互动的客户端软件，具备强大的文本生成、逻辑推理、语言理解、数学能力、代码生成、知识问答和多模态能力。用户可以通过该应用体验先进的AI功能，包括个性化内容生成和知识管理。该应用支持个性化AI助手，允许用户上传资料创建知识库，并生成定制内容。此外，它可能集成了企业智能双生平台，适用于办公和专业场景。

langchain-examples开源项目 – 展示LangChain框架应用的集合

langchain-examples是一个由LangChain LLM框架驱动的应用程序集合，旨在展示其强大功能，涵盖多种使用场景和用例，提供易于扩展和定制的示例，适合快速原型开发和学习。

nanoRWKV开源项目 – RWKV语言模型的迷你版实现

nanoRWKV是RWKV语言模型的轻量级实现，专为快速实验与多种语言处理任务设计，兼容RWKV架构，基于nanoGPT优化了性能和效率，易于扩展和自定义。

几个uncensored的中文llm官网 – 提供多个无审查的中文语言模型

该项目提供多个无审查的中文语言模型，支持多种文本生成任务，灵活选择与使用，开放访问，社区驱动更新。

Llama 2官网 – Meta推出的强大语言模型

Llama 2是Meta推出的最新一代大型语言模型，旨在提供更强的自然语言处理能力。

Valley开源项目 – 多模态大型模型，处理文本、图像和视频

由字节跳动开发的先进的多模态大型模型，旨在处理涉及文本、图像和视频数据的各种任务，并在电商和短视频基准测试中取得了最佳结果

Qwen开源项目 – 多语言处理开源框架

Qwen是阿里通义千问开源的多语言处理框架，支持多种自然语言处理任务，提供高效的模型推理和友好的用户接口。它兼容多种开发环境，旨在为开发者提供高效构建语言模型的工具，支持广泛的语言覆盖与任务适配，帮助解决全球化场景下的文本处理需求。最新的720亿参数版Qwen-72B和Qwen-72B-Chat在多个任务上超越LLaMA2-70B和GPT系列模型。

Fairseq开源项目 – 开源序列到序列学习框架

Fairseq 是一个由 Facebook AI Research (FAIR) 开发的开源序列到序列学习工具包，专注于自然语言处理任务，如机器翻译、文本摘要、情感分析等。它提供了高效的训练和推理框架，支持多种模型架构，包括 Transformer、LSTM 等。Fairseq 广泛应用于文本生成、语音识别等领域，具有模块化设计，便于进行自定义开发。

DeepSeek-V3官网 – 高效且小巧的量化模型

DeepSeek-V3 的Q4_k_m 量化版本，大小比原本的小一半，兼容性强，适用于多种环境，提升处理效率，同时保留大部分原始模型性能。

Nightfall for ChatGPT官网 – 自动检测并移除敏感信息

Nightfall for ChatGPT 是一款基于机器学习的浏览器扩展，能够自动发现并移除ChatGPT提示中的各种敏感信息，包括个人身份信息(PII)、支付卡信息(PCI)、机密信息和API密钥。用户只需安装该扩展，它便会在后台工作，自动识别和删除ChatGPT提示中的敏感信息，保护用户隐私和数据安全。

LLMPlus开源项目 – 用于本地LLM的AI应用开发

LLMPlus是一个Python包，旨在帮助开发者使用本地的大型语言模型（LLMs）来构建AI应用。它提供了简洁的接口，以便进行提示工程，支持加载LLM模型、嵌入模型和向量数据库的类。通过自定义提示工程和RAG技术，开发者可以轻松创建LLM应用。

闻达开源项目 – 大型语言模型调用平台

闻达是一个大型语言模型调用平台，支持多种模型如chatGLM-6B、chatRWKV、chatYuan，以及基于chatGLM-6B的chatPDF功能，方便用户进行知识库查询和文本生成。

Lit-LLaMA开源项目 – 完全开源的LLaMA独立实现

Lit-LLaMA是一个独立实现的LLaMA，完全开源，遵循Apache 2.0许可证，基于nanoGPT构建，旨在解决原始LLaMA代码在GPL许可证下的限制，以支持更广泛的学术和商业应用。