ArtPrompt是一个基于ASCII艺术的越狱攻击项目，旨在绕过具有安全机制的语言模型（LLM）。通过利用ASCII艺术形式，该项目能够进行黑盒攻击，测试和评估LLM对非语义提示的识别能力，揭示其脆弱性和局限性。
集合了基于大型语言模型（LLM）评估方法的综合调研项目，旨在为开发者、研究者和实践者提供如何有效利用LLM作为评估工具的资源。
用于强化 GenAI 应用的开源工具，旨在帮助开发人员检测和防御针对其应用的 LLM 攻击，包括一个 Playground 聊天界面，用于帮助用户迭代地提高其系统提示的安全性，支持 20 种不同的 LLM 提供商和 20 种动态 LLM 攻击模拟。
关于大型语言模型（LLM）在网络安全领域应用的全面综述项目，旨在探索LLM如何助力网络安全，包括构建网络安全领域的LLM、LLM在网络安全中的潜在应用，以及面临的挑战和未来研究方向，为相关研究人员和从业者提供宝贵资源和洞见。
ZeroTrusted.ai在网络安全领域处于前沿，提供了一种革命性的方法来保护身份和数据，特别是在大型语言模型(LLMs)时代。通过其LLM防火墙，ZeroTrusted.ai旨在降低意外数据暴露和不道德AI提供商或恶意实体利用的风险，确保用户在数字交互中拥有隐私、安全和可靠性。
AgentBench是一个多维演进基准，评估语言模型作为Agent的能力，包含8个不同环境，专注于LLM在多轮开放式生成场景中的推理和决策能力。
由LLM驱动的自主Agent集合，涵盖任务解决、多智能体协作、社会模拟等项目，提供框架、基准评估和相关资源，推动AI代理技术的发展
首款利用大型语言模型（LLM）进行零样本漏洞发现的工具，能自动分析代码，检测远程可利用的安全漏洞，帮助开发者及时发现和修复潜在的安全隐患。
Orquesta是一个实时协作和无代码平台，利用大语言模型(LLM)能力，帮助企业集成和运营其产品。该平台集中管理提示、简化实验、收集反馈，并实时洞察性能和成本，兼容所有主要的LLM供应商，确保LLM操作的透明性和可扩展性，最终缩短客户发布周期并降低实验和生产环境的成本。
Rebuff是一个还处于原型阶段的新型语言模型提示防注入系统，具有四层防护机制，包括启发式过滤、基于LLM的检测、向量数据库和Canary tokens。
