用于强化 GenAI 应用的开源工具,旨在帮助开发人员检测和防御针对其应用的 LLM 攻击,包括一个 Playground 聊天界面,用于帮助用户迭代地提高其系统提示的安全性,支持 20 种不同的 LLM 提供商和 20 种动态 LLM 攻击模拟。
ArtPrompt是一个基于ASCII艺术的越狱攻击项目,旨在绕过具有安全机制的语言模型(LLM)。通过利用ASCII艺术形式,该项目能够进行黑盒攻击,测试和评估LLM对非语义提示的识别能力,揭示其脆弱性和局限性。
Mindgard是一个为AI/ML模型提供安全保障的平台,涵盖整个生命周期,包括内部和第三方解决方案。它通过自动化安全测试、修复、威胁检测以及市场领先的AI威胁库,确保AI、生成式AI和大型语言模型的安全性。
CodeThreat 是一款基于 AI 的静态应用安全测试 (SAST) 解决方案,提供全面准确的代码分析,且误报率极低,帮助开发过程中识别代码中的安全漏洞和弱点。
用于实验、评估和部署基于检索增强生成 (RAG) 的系统的工具包,支持各种大语言模型 (LLM),旨在减少 LLM 幻觉风险并提高可靠性。