所有AI工具AI开发框架AI开源项目

garak开源项目 – LLM漏洞扫描工具

garak 是一款用于扫描大型语言模型(LLM)漏洞的开源工具,旨在发现 LLM 中的安全漏洞和弱点。它通过静态、动态和自适应探测技术,全面评估 LLM 的安全性,探测生成式 AI 模型的幻...

标签:

AI交流(进群备注:garak)

garak 是一款用于扫描大型语言模型(LLM)漏洞的开源工具,旨在发现 LLM 中的安全漏洞和弱点。它通过静态、动态和自适应探测技术,全面评估 LLM 的安全性,探测生成式 AI 模型的幻觉、数据泄露、提示注入、错误信息生成、毒性生成、越狱等弱点。garak 支持多种 LLM,包括 Hugging Face、Replicate、OpenAI、litellm 等,适用于安全研究人员、模型开发人员和用户识别和缓解 LLM 中的安全风险。

garak的特点:

  • 1. 支持多种 LLM 漏洞探测,包括提示注入、对抗性生成、文本分类等
  • 2. 提供用户友好的界面,带有进度条和详细结果
  • 3. 结合静态、动态和自适应探测技术,全面评估 LLM 安全性
  • 4. 支持多种 LLM 接口,如 Hugging Face、OpenAI、Replicate 等
  • 5. 开源且免费,易于安装和使用

garak的功能:

  • 1. 用于评估 LLM 的安全性和鲁棒性,检测潜在的漏洞和攻击媒介
  • 2. 改进 LLM 模型的设计和开发,研究 LLM 行为
  • 3. 通过命令行工具进行 LLM 漏洞扫描,支持自定义探测和检测器
  • 4. 支持多种 LLM 接口,如 Hugging Face、OpenAI、Replicate 等
  • 5. 提供详细的日志和报告,便于分析和调试

相关导航

暂无评论

暂无评论...